中國圖書館起源於周朝，周朝專門收藏典籍的地方稱「盟府」，也叫「古文府」。掌管圖書的官員則稱柱下史。

秦始皇焚書坑儒，使藏書遭到一次毀滅性的洗劫。漢代，國家藏書重新得到發展。西漢初，相國蕭何在未央宮正殿北面蓋了三座藏書閣，其中石渠閣和天祿閣後來成了皇家藏書館的別稱。武帝時，「建藏書之策，置寫書之官，下等諸子傳說，皆充秘府。」其中「秘府」又稱「秘閣」，就是皇家藏書館的名稱。

魏晉南北朝時，仍設置秘書郎、秘書監，負責管理藏書，當時僅南朝梁武帝的文德殿就有藏書達二千三百多卷，私人藏書也相當盛行。

隋唐之際，魏徵、虞世南、顏師古相繼出任秘書省官員，廣購天下圖書，並選拔書法好的人抄書，然後收藏秘書省內。玄宗時也特地修了書院，專掌抄校書籍，還聘用女子做管理員，在長安就抄寫了五萬一千多卷書，並且把這些書裝飾得非常考究；玉軸牙簽，絹錦飄帶，不同種類著不同顏色。

宋代太宗建立崇文院，專作藏書之地，後來又另設書庫，叫秘書閣。當時著名的個人藏書家宋敏求藏書三萬卷，讓別人借閱，與現在的閱覽室差不多。

元朝，專門收藏書籍的圖書館，先有宏文院，後有藝林庫。至明清，國家藏書得到空前發展，明朝宮廷建有文淵閣。中國最大的類書，世界上第一部大百科全書《永樂大典》在明遷都北京時搬到宮內的文樓（文昭閣）。
 
清代藏書有七大閣，即文淵閣、文津閣、文源閣、文溯閣、文匯閣、文宗閣、文瀾閣。《四庫全書》被抄寫成七份，分別收藏在這些閣中。

中國古代的圖書館，大都用亭、台、樓、閣、齋、堂、軒、居、室、館等等之類作名稱，其中尤以閣、室、院、館為多。