商代，作為書籍雛形的是刻有文字的甲骨，其收存處所應當被認為是圖書館的萌芽。

西元前六世紀周代的「盟府」，可算是圖書館的雛形，那時候，掌管書籍的官吏叫做「史」，哲學家老子曾經擔任周代的「收藏寶之史」。

秦始皇「焚書坑儒」，使古代圖書蒙受第一次大災難。西漢建立後，國家藏書有很大發展。

  西漢初年，相國蕭何在宮廷內蓋了座藏書閣，其中一座叫石渠閣，一座叫天祿閣。所以後來，「石渠」、「天祿」就成了皇家圖書館的兩個別稱。

漢武帝時，「廣開獻書之路」，向天下廣征圖書，同時組織人員抄寫，定出標準本收藏，皇家藏書處稱「秘府」、「秘閣」，制定了圖書的規章制度。漢代的蘭台、石室、麒麟閣也是收藏圖書的地方。

從三國、魏晉南北朝到隋唐幾代，專門藏書處所逐漸增多。魏晉南北朝時，設立秘書郎、秘書監的官職來管理圖書。

宋朝初期的皇宮有各種藏書機構，如史館、昭文館、集賢館等，宋太宗建立的崇文院，也是一個專門藏書的地方，後來又另建一個書庫名為神閣。

  元朝的圖書館，有宏文院、藝林庫。明朝，南京的文淵閣也是一座著名的圖書館。

清朝的藏書處所之多，擁有圖書之豐富，都遠遠超過以往任何朝代。有名的國家圖書機構北京有文淵閣、文源閣，承德有文津閣等。

首先以「圖書館」正式命名的是一九○五年的湖南圖書館。正式公文中確認「圖書館」這個名詞是在清末宣統元年（一九○九）制定的京師及各省圖書館通行章程上。