乾隆十四年（1749年），袁枚辞官后隐居南京小仓山随园，广受弟子，终日以吟诗为乐。

袁枚的弟子之中，“女弟子尤众”，很多文学女青年把他看做良师益友兼偶像粉丝。

袁枚喜欢美色，是个典型老牛吃嫩草的风流人物。有一次，花甲之年的袁枚在船山偶遇名妓蕊仙，老袁主动勾引说：“老夫作诗题字，最喜欢有美人研磨侍奉，那可是绝佳境界哩！”

蕊仙善解风情，当即应允，一老一少一颦一笑，顾盼中遥相呼应，堪称心有灵犀。事后，袁枚赏赐了蕊仙一些散碎银两。蕊仙离去，在朋友圈发布消息，奚落老袁浪费笔墨钱财，竟然连手都没摸到。

袁枚毫不在意，自我解嘲说：“今夜艳遇，乃真风流，千载难逢，非皮肉之淫可比也。”嫖娼宿妓达到如此境界，凡夫俗子实在望尘莫及。

袁枚的原配妻子一直没有生育，这给了老袁纳妾的绝佳借口。他先是纳妾陶姬，可惜陶姬生了一个女儿不久就病逝了。

此后，袁枚接二连三纳了三房妙龄的小妾，不是啥原因，三房小妾生育子女不是流产，就是孩子出生不久即夭折，或者根本就不孕不育。

袁枚年过六旬，膝下无子，当然不甘心，于是又纳了第五个小妾——时年只有十九岁的钟姬。钟姬原本是一个官妓，嫁给老袁之后还很争气，第二年就为老袁生了一个儿子。

已经六十二岁的袁枚感慨万分，诗兴大发，吟诗一首，其中有一句：“六十生儿太觉迟，即将迟字唤吾儿。”于是给这个迟到的儿子取名袁迟。

袁枚不满于现状，五位妙龄小妾依然不满足，还会以“无子为名又买春”为借口，为自己的偷腥狡辩。

袁枚曾写过一段趣话：说的是一位八旬老翁，嫖宿一个十八岁的妓女，有感而发，赠诗一首：“我年八十卿十八，卿自红颜我白发。

与卿颠倒恰同庚，只隔中间一花甲。”