潘人木成長在一個觀念開明的家庭，比同年齡孩子更早懂事。在一般小女孩尚得梳著小辮子、多少還需纏足的年代，潘人木便剪著一頭短髮、一雙天足，站在小學講台上演講著由父親替她擬稿的「纏足之苦」，講得頭頭是道。她一生就像這樣一直是個聰明不追隨流俗的女性。幼小時，一次隨父親遊公園，臨去時，見月上柳梢，美麗非常，央求父親舉她上樹取月。父親被吵得無可奈何，便向小販買了一汽球給她，說：「這就是妳的月亮！你一個人的月亮！」父親牽著她的手，一面散步，一面唱歌，唱他唯一會唱的一首歌———今日何日兮，與子別離，與子別離兮，行人將何之……當時只有四、五歲的潘人木，完全不了解歌中之意，卻感到心頭一落一落，便抬頭問：「爸，你想誰啦？」這是一首別離歌，父親並未刻意教，但它卻成了她會唱的第一首「長歌」，其次才是〈蘇武牧羊〉。

「一輩子沒把歌唱好，倒是唱了一輩子的歌。不知不覺中，唱走了人生旅程中所有的好東西。唱走了快樂的童年，唱走了在家之日，唱走了在校之日，唱走了青春，唱走了滿腔熱情。」

潘人木晚年也曾落寞的說：如是一朵花，必已凋謝；如是一片雲，必已遠颺；如是一把青春，必已衰老，一切沒了希望。而後燈下校對《蓮漪表妹》重印稿，全神貫注中，也恍如置身街頭，似台北，又似當年北平。「不久以前，我還年輕，不久以前我還健康，不久以前，我還心中有愛，那麼現在何必宿命、蒼白、無助而沒了生活的勇氣呢？人生的珍寶，哪怕只剩下一點點如塵如沙，仍然要知道疼惜，仍然要高舉著它往前走。」