清朝歷史，把顏思齊記載為「海寇」，但對北港鎮民來說，卻是開拓台灣的漢人先鋒，顏思齊佔據北港，為後來的鄭成功攻打荷蘭人，奠定了勝利的基礎。 
進入北港鎮內，往北港媽祖廟之前，有一處大圓環，聳立一根石柱，柱子寫著「顏思齊先生開拓台灣登陸紀念碑」，民國四十八年北港鎮長陳向陽所立，兩年前民國九十年，鎮公所請文學博士蔡相煇考證，證實北港的早期開發，對鄭成功有相當影響力。碑文指出，顏思齊是福建省漳州府人，鄭芝龍是福建省泉州府人，傳說顏思齊、李旦、鄭芝龍等結拜兄弟，原本想在日本推翻幕府，建立新政府，但洩密而失敗，被日本通緝，紛紛逃亡海外。顏思齊、李旦、鄭芝龍率殘餘部屬，乘船逃亡，明天啟元年來到當時稱為「東番或琉球」的台灣，登陸「北港」避難，逃亡的漢人在這裡建造砲台防禦日船，成為島上早期流亡集團的根據地。
顏思齊、李旦、鄭芝龍一面與當地平埔族原住民和睦相處，一面招募福建沿海漢人移民偷渡台灣，計約三千餘人進駐北港，使北港漸漸成為海峽兩岸貿易的「對口港」，有如海外漢人的新天地。
蔡博士考證，清康熙打垮鄭克塽後，鄭家的土地轉由「叛將」施琅處理，結果施琅侵吞租穀，並由笨港（北港）運往內地（大陸），清季吳資生家族有「施侯租完照」（施琅收取租穀的收據），可為證據。漢人到台灣的大規模開拓，不是鄭成功才開始，應延續到上一代的開拓史，北港就是這段歷史的代言人。