明朝陳繼儒絕意仕途，隱居於小崑山。明正統年舉人曹安在《讕言長語》中說，自己少年時「遊松江干山，宿李升郎中宅，近山有虎啖一人。」說明那裏荒涼，隱居不易，所以陳繼儒自稱貧。

小昆山、干山（今天馬山）和陳繼儒後來移居的佘山都屬相鄰的松江九峰，他在山上築起了東佘山居，有頑仙廬、來儀堂、晚香堂、一拂軒等建築。他在中庭寫了對聯：「天為補貧偏與健，人因見懶誤稱高。」此時他不僅不貧，還相當富裕了。

得到唐顏真卿〈朱巨川告身〉真跡卷後，又將住處命名為「寶顏堂」；收藏的書畫中有倪雲林〈鴻雁柏舟圖〉、王蒙〈阜齋圖〉、梅道人〈竹筿圖〉、趙孟頫〈高逸圖〉，與同時代的文徵明、沈周、董其昌等人字畫。

藏書則廣搜奇書逸冊，他曾說：「讀未見書，如得良友；見已讀書，如逢故人。」對經、史、諸子、術伎、稗官與釋、道等書，無不研習。萬歷年間，延請一些老書生，幫他尋章摘句，按部分類；而後摘取其中瑣言僻事，撰成《寶顏堂祕籍》六集，共四百多卷，收錄地方掌故、小說筆記、軼聞瑣言、書畫藝術、譜錄等資料。

可是，朝廷徵召他出山，他拒絕了；東林書院招他前去，他也辭謝。他是怎麼富裕起來的呢？清人宋起鳳的《稗說》給了答案，「四方徵其文者，束帛挺金造請無虛日，以潤筆之資卜築佘山」，陳繼儒靠稿費成為一方富翁。

後人譏刺陳繼儒：「翩然一只雲間鶴，飛去飛來宰相衙。」、「既是山人，何不到山裡去？」

其實，文化事業也離不開經濟基礎，他利用了名人效應，不僅贏得了建造佘山住山的資金，也贏得了研究書畫藝術、著書，以及交遊所需，並沒有什麼不妥之處。