据《唐阙史》、《唐摭言》记载：唐文宗大和年间，杜牧曾与友人到湖州游玩。游览之余，他发现一个十一二岁的小姑娘，姿容俏丽、颜色非常，于是与她的母亲约定，待到十年后，前来娶她。后来，杜牧虽然辗转他地，但时常念及这个活泼可爱的小姑娘，想着她现在应该出落得如花似玉了。时机也很凑巧，唐宣宗大中四年（850）秋，杜牧被朝廷任命为湖州刺使，等来到这个女子的家中，想着就要见到往日朝思暮想的女子，他心中愈发激动。可是，“人面不知何处去，桃花依旧笑春风”，出门迎接他的不是亭亭玉立的姑娘，而是一个老妇人。她告知杜牧女儿已经嫁人了。杜牧埋怨老妇人不守约定，可老妇人说，此时已历时十四载，超出了约定的时间。并告诉他说：女儿已为民妇，嫁人三年，已生二子。杜牧屈指一算，自己离开湖州恰恰十四年，于是他作了这首诗以表达自己的怅惘之情。结合“杜郎俊赏”、“才子风流”的事实，此事可能属实。