乌金渡曩昔是白荡湖的紧张渡口，商旅来往，络绎不绝。

有一天，来了一位鹤发童颜的老人，牵着一条大水牛要求过渡。载牛必然要少载人，老者又不愿多出钱，摆渡人就不乐意渡他。后经旁人挽劝，才勉强让他与水牛上了船。渡船划到湖心，水牛拉了一堆牛屎，摆渡人十分恼火，把牛屎抛入湖中。

不一会，渡船靠岸，众人纷纷下船后，老者和水牛突然不见了。摆渡人看看舱内残存牛粪，都变成了闪闪发光的乌金。

摆渡人忏悔本身肉眼凡胎，把仙人当无赖，把乌金当牛粪，懊悔不已。“乌金渡”便由此得名了。