太古堂为明代大学士、
礼部尚书高弘图隐居之处，黄宗昌在《崂山志》中记为“华阴山居”。 太古堂原为大理寺评事胶州人赵任的别墅，名为皆山楼，其中有白云轩、餐霞亭等精美建筑。明代文人陶允嘉《游劳山记》一文，对此楼记为: “堂曰皆山楼二，一以寝息，一以贮书画洒铛。牖南启而华楼耸其前，北启而凤凰障其后。东西二园，西园植桃、李、梨、枣之属，百棵正放花; 东植桧柏，有亭居之，尚未名。后高岗植松数千株，浮翠作涛。”明崇祯五年，高弘图罢官后，游崂山时甚爱此处景色殊丽，正值赵任年老思归故里胶州，故将该园赠于高弘图，高弘图遂将其更名为太古堂，并撰有《吾堂序》一文。在他的《劳山九游记》中，还自称“太古居停”，意为此太古堂乃为暂时寄居之处。 崇祯十六年高弘图复出，离开太古堂去南京任职。后此处被曾任过县令的胶州人王锦购得，其子孙或家居华阴，或家居胶州，其后裔王大来乃清代胶州著名文人，曾一度迁居华阴，对崂山多有诗文记述。其《移居华阴》七律为: “移家小住聚仙乡，黄石宫前楼底庄。一院花留容足地，万山重绕及肩墙。闻来药圃锄春雨，静坐溪岸钓夕阳。日在辋川图画里，平生夙愿快相偿。”