最早記錄中國東北長白山的史籍是《山海經．大荒北經》。書中稱：「東北海之外……大荒之中有山名曰不咸，有肅慎氏之國。」

肅慎是東北的古老民族，活動在今延達和綏芬河一帶。《後漢書．東夷傳》和《晉書．四夷傳》皆有「肅慎氏一名挹婁，在不咸山北」的記載。

晉代以前長白山一直稱「不咸山」，後魏又稱「徒太山」、「太皇山」，到了唐代又改稱為「太白山」。

長白山之名始於金代，而且一直沿用至今。《金史．世紀》載：「生女真地有混同江、長白山，混同江亦號黑龍江，所謂白山、黑水是也。」

金代統治者認為「長白山在興王之地，禮合尊崇議封爵，建廟宇。」因此，在大定十二年（西元一一七二年）十二月，封長白山為「興國靈應王」，即其山北地建廟宇。

到了清代，因清朝以長白山為發祥地，康熙十六年（一六七七年），大臣覺羅武木納奉命前往長白山拜謁，回京奏疏，議封「長白山神」，每年遣使致祭。

清朝幾百年間，將長白山列為「封禁之地」。