北宋紹圣二年（公元1095年），北宋著名女詞人李清照父親李格非寫成了《洛陽名園記》，記述了當(dāng)時洛陽最出名的園林19處。其中，以培植牡丹為主的花園有三處：歸仁園、仁豐園、天王院花園子。李格非筆下的歸仁園是洛陽最大的百花園，一年四季花期不斷，是個名副其實的百花園。“歸仁”取自孔子的名言“克己復(fù)禮，天下歸仁焉”。

歸仁園是唐代宰相牛僧孺的園子，北宋時為中書侍郎李清臣的園子。牛僧孺是唐穆宗時的宰相，曾任淮南(今江蘇揚州)節(jié)度使、東都(洛陽)留守。他在任淮南節(jié)度使時，搜集諸多嘉木怪石，在任東都(洛陽)留守時，運至洛陽的園子中。經(jīng)過數(shù)年苦心營建，該園成為館宇清華、木竹幽邃、茂林蔽天，繁花覆地，小橋流水，曲徑通幽的一處著名私家園林。

歸仁園占了一個里坊，該園東西和南北長均逾一里，約375畝，歸仁園自北向南分為三部分。北部種有大面積的牡丹、芍藥一千多株，中部種有百余畝翠竹，南部種植著成行的桃樹、李樹等。歸仁園是以花木為主的園林，歸仁園也是個平地水景園。牛僧孺對歸仁園進行改造，修了一個巨大的湖泊，湖中有小島，島上立太湖石。園中清渠環(huán)繞，水口砌石，形成小瀑布，有江南、巴蜀的韻味。

牛僧孺嗜石如命，廣羅天下奇石。在揚州任職期間，搜集了許多太湖石，成為最早的太湖石收藏家。太湖石形狀各異、姿態(tài)萬千、通靈剔透，有“皺、漏、瘦、透”之美，被列入“中國古代四大奇石”。牡丹石上的圖案狀如牡丹，渾然天成，妙趣橫生。后來，牛僧孺被任命為東都留守，就把他收藏的太湖石帶到了洛陽歸仁里，滿園的奇石，形態(tài)變幻多樣，是牛僧孺的至愛。牛僧孺在東都洛陽潛心詩文、專注奇石、好仙慕道，常與白居易飲酒、唱和。

武宗會昌三年（公元843年），白居易為牛僧孺園中的太湖石作《太湖石記》，“嘗與公迫觀熟察，相顧而言，豈造物者有意于其間乎？將胚渾凝結(jié)，偶然成功乎？然而自一成不變已來，不知幾千萬年，或委海隅，或淪湖底，高者僅數(shù)仞，重者殆千鈞，一旦不鞭而來，無脛而至，爭奇騁怪……”“撮要而言，則三山五岳、百洞千壑，覼縷簇縮，盡在其中。百仞一拳，千里一瞬，坐而得之。此其所以為公適意之用也。”園林奇石是微縮的山水，居園林而游賞山岳，是最“適意”的。牛僧孺的歸仁園，還廣植牡丹和芍藥，每年花開時節(jié)，滿園芳菲。牡丹花開四月，此時的古都洛陽，牡丹花大街小巷盛開，歸仁園里的牡丹花與牡丹石珠聯(lián)璧合。

　李清臣，魏(今河北大名縣西北)人，宋神宗熙寧年間進士，歷任翰林學(xué)士、尚書左丞、中書侍郎。他與司馬光一起抵制王安石變法，被貶退西京洛陽。他購買歸仁園后，對園林進行認(rèn)真修繕，增加牡丹亭等景點，引進了諸多牡丹新品種。每當(dāng)四月花開時節(jié)，便于司馬光等諸多文人在此賞花宴飲。

歸仁園北臨建春門大街，東臨城垣，東北角即建春門。其位置在今安樂鎮(zhèn)南董村一帶。