要說誰最早發現冰河灣，其實在千百年前，阿拉斯加東南的特領吉特印第安人（Tlingit）即活動於今日冰河灣一帶。拜豐富海洋資源之賜，他們以捕捉鮭魚、海豹、海獺、鯨魚維生。直到八百年前，因氣候轉寒導致冰河前進，迫使他們遷離了冰河灣，在冰海峽（Icy Strait）對岸的胡納村（Hoonah）定居下來。那時冰河灣被胡納部族稱為“Sit-a-da-kay”（“Ice Bay”即冰灣之意），直至今日，仍被視為他們祖先的故鄉。

歐洲白人發現冰河灣，最早可溯至十八世紀中葉。1741年，那時阿拉斯加仍不歸美國所有。契里可夫船長受僱於當時俄國沙皇，駕著聖保羅號來到冰河灣附近，看到沿海盡是冰雪覆蓋的連綿山脈時，說道：「這一定是美洲了……」

首度將此區用文字紀錄下來的，卻是英國著名的航海家詹姆斯‧庫克船長。他在1778年5月3日航海日誌上寫著：「在一座非常高的山峰下，有個大海灣……」因為當天晴空萬里，他便將那座高峰命名為「晴天山」（Mount Fairweather），山下的大海灣則取名「跨海峽」（Cross Sound）。他還寫道：「那山脈從峰頂到山腳，全被白雪覆蓋，僅有少數地方沒有雪……」

當時，隨同庫克船長航行至此的喬治‧溫哥華，在1794年以「發現號」船長身分，再度回到冰河灣。他在跨海峽南邊靠岸，派遣一支探勘隊伍，乘小船艇從今日史賓瑟海岬（Cape Spencer）往冰河灣前進，想勘探此區陸地。

探勘艇從丹德斯點（Point Dundas）一路向東航行十餘公里，當他們到達卡羅拉斯點（Point Carolus）──即冰河灣口附近，看到的景象是由冰塊砌成的一面峻險冰牆，橫阻在海灣入口處。其實他們看到的，正是巨大冰河的前端。

1867年，美國從俄國手中買下阿拉斯加。第一位到阿拉斯加探勘的美國人應是查理斯‧伍德中尉，他和原住民嚮導在1877年划木舟到冰河灣上游探看，當時，冰河主體已退至今日羅梭島南緣。

1879年，美國著名的自然學家約翰‧繆爾首次來到阿拉斯加東南區，並組隊划舟至冰河灣，當繆爾拿著溫哥華船長所繪地圖，一行人來到冰河灣附近，卻因雲雨陰霾能見度低而迷路；後來幸運遇到當地胡納人，願當嚮導帶他們進入冰河灣。當風雨交加，所有人都在營地休息，繆爾卻獨自爬上幾百公尺高處，俯瞰眼前因冰河退縮而暴露的大片新領域。他這麼描述首次發現冰河灣的情景：

我攀爬了一千五百英呎，站在第二條大冰河稜脊上，眼前所有的景物都被埋在雲裡……終於，烏雲開了些，在灰色雲端邊緣，我看到了被冰山填滿的遼闊海灣，海灣周圍的連綿山腳，還有氣勢宏偉巨大的五條冰河正面，最近一條就在我腳下。這是我第一次概略看到的冰河灣，由冰與雪與新生的岩石所構成的孤絕個體，黯淡、沉悶、而神祕。

繆爾在1880年和1890年再度造訪冰河灣，並於1890年，在當時冰河前端萊特山（Mt. Wright）山腳蓋了一間小木屋，做為觀察冰河的據點。那時冰河已退至今日繆爾海岬（Muir Point）。繆爾遺留的田野寫生與繪畫，為當時冰河退卻的規模和位置下了註腳。

滄海桑田，物換星移。冰河在兩百多年間退卻百餘公里，原本被冰覆蓋的冰河灣，如今已成為「Y」型海灣。因形狀如一個人伸出兩隻手，左邊的慣稱「西臂灣」，右邊的則是「東臂灣」。