清代为松江著名巨富太学生奉政大夫沈虞扬所有，称古倪园。

沈虞扬长子沈恕，号绮云，江南名士，倡泖东莲社，一时名流汇集，如改七芗、张祥河、高崇瑚、冯承辉、何其伟等，时相过从。太平天国战争中毁于战火。同治三年（1864年），松江府重修试院，购拆古倪园旧厅90余间。上海愚园建造时，太湖石皆选购于此。至此，园中遗物大多已流散。