乾隆南巡到杭州，杭世骏也参与迎驾，乾隆见了他问道：“你靠什么生活？”杭答：“臣世骏开旧货摊。”皇帝不懂，问道：“什么叫开旧货摊？”杭解释道：“把买来的破铜烂铁陈列在地上卖掉。”皇帝听了大笑，写了“买卖破铜烂铁”六个大字赐他。　　据传杭世骏为人耿介，敢于直言。时值天下大旱，乾隆特开“阳城马周科”，测验翰林院官。意在选拔人才，帮他治理国家。杭世骏在这次试卷中直言不讳，条陈建议，提出“朝廷用人”不要以满汉划线，应该泯灭“满汉之见”。“满州贤才虽多，较之汉人十之三四。天下巡抚常满汉参半，总督则汉人无一也。何内满而外汉也？”还说：“三江两浙，天下人才渊薮，边隅之士，间出者无几。今则果于用边之人，不计其才，不计其操履，不计其资俸，而十年不调者，皆江浙之人，岂非有意见畛域？”话说得恳切。　　实际乾隆开科，取治国干才，却是叶公好龙，一旦真的听到“直言”，就怒不可遏：“怒抵其卷于地者再，复取视之”。传说人家帮他说话：他是狂士。乾隆便说：“这种狂士，只能收卖废铜烂铁！”杭世骏由是罢归田里。他回到杭州，在闹市摆了一个地摊，布招大书：　　“奉旨收卖废铜烂铁”。一时观者如堵。　　记载，乾隆问杭世骏说：“你性情改过么？”世骏回答：“臣老矣，不能改也。”乾隆问：“何以老而不死？”回答说：“臣尚要歌咏太平。”笑了笑。龚自珍《杭大宗逸事状》中则说：“癸已岁，纯皇帝南巡，大宗迎驾湖上，上顾左右曰：‘杭世骏尚未死么？’大宗返舍，是夕卒。”不知是真是假。