象棋起源於何時，眾說紛紜。最常見的說法是因黃帝大戰蚩尤，曾驅猛獸為陣，而當時象為眾獸之雄，因此以象戰為兵戰之稱，象棋因此為名。
 
不管象棋發明於何時，現代流行的象棋及規則是在唐末宋初時成型；而「炮」這個跳攻狠角色，是在宋之後才增加的，這與古代武器的發展脈絡吻合，對弈規則才近似於現代的象棋。關於象棋的趣事不少，如唐朝牛僧儒所著《玄怪錄》中有一則傳說：巴邛地區有戶人家，橘園中結了兩個頭般大小的橘子，但剖開來每一橘瓤裡，都有兩位鬚眉斑白老翁「象戲於其中」，因此「橘中之樂」，即成為象棋的別稱了。
 
唐代寶應年間的象戲，已有將、車、馬、卒等名目，馬行日步，車直來直往，卒只能進一步，而將則在其範圍內巡行。北宋李清照《打馬圖經》所載之棋盤，則為完整的棋盤。
 
「楚河」、「漢界」之起源，來自「楚漢相爭」。西元前二○四年，劉邦與項羽兩軍對壘。劉邦憑著豐富的糧草作後盾，揮師出兵攻打楚國，項羽則因糧盡兵潰，提出中分天下，割鴻溝以西者為漢，鴻溝而東者為「楚」的停戰議和請求，從此便有「楚河」、「漢界」之說。
 
清代左宗棠率兵西征時，有人贈聯：「大帥用兵，士卒效命，車轔轔，馬蕭蕭，氣象巍巍。視此去，一炮成功，方不愧出將入相。」
 
王守仁童年時與友對弈，樂而忘食，其母氣得把棋子扔入河中，他惋惜中吟出了以棋為名的〈哭象棋〉詩：「象棋在手樂悠悠，若被嚴親一旦丟。兵卒墜河皆不救，將軍溺水一齊休。馬行千里隨波去，士人三川逐浪流。炮響一聲天地震，象若心頭為人揪。」描寫之妙，令人拍案叫絕。