文／朱玉昌

看到下雨了，人們自然會聯想到帶傘、交通打結、可能會變冷……生成式AI的核心，如今也能根據前文預測下一個字元（token），例如輸入「今天天氣很好，我想去」，它可能接文「散步」、「旅行」或「公園」，但AI究竟是如何從逐詞猜測，進一步能寫文章、翻譯語言、回答問題，甚至解數學題？



當老師在黑板寫下「小明今天放學後去……」學生可能聯想到文末要接的是「家裡」或「圖書館」。如果前面再多提供一些內容，例如「小明今天放學後去圖書館，因為明天要考……」大家猜測的接龍字詞就會更準確。

人在閱讀時，本來就會根據前文預測後面的內容，語言模型所做的事就有點類似，只是它把這個過程變成大規模的數學計算，這就是「下一個token預測」（next-token prediction）。

預測下個高機率token

所謂Token，可以理解成語言模型處理文字的基本單位。中文可能一個字就是一個token，英文則可能把一個單字切成幾個部分，因此，AI在預測下一個字時，較精確地說，是在預測下一個token。

假設輸入「今天下班後，我想去」，模型會根據前面的文字，計算不同token出現的機率「吃」、「買」、「公園」都可能成為候選答案。如果選到「吃」，文字就變成「今天下班後，我想去吃」，模型再根據新的內容預測下一個token，如此一次又一次，最後便能產生完整的句子、文章、故事甚至一段對話。

不斷預測修正出正文

從最底層來看，這個過程可以簡化成：讀取前文→計算下一個token的機率→選出token→再繼續預測。那麼問題來了，倘若模型只是預測下一個token，為何它能寫出前後連貫的文章？為什麼知道人物關係，甚至能回答問題、翻譯外語？

答案在於「訓練」。大型語言模型（LLM）會接觸大量文字，包括新聞、小說、百科、網頁、對話與程式碼等，訓練時，模型會不斷預測下一個token，再拿自己的答案和原本資料比較，預測錯了，就調整參數。

精準文字下產生錯覺

這個過程重複極大量次數後，模型逐漸學會文字之間的關係，例如，「醫院」經常和「醫生」、「病人」、「治療」一起出現；「學校」經常和「老師」、「學生」、「考試」一起出現。當這些關係累積到非常龐大的程度，模型內部便形成複雜的數值表徵，這也是語言模型最容易讓人產生錯覺的地方。

當AI寫出「醫生正在為病人看診」，人們很容易認為它真的知道什麼是醫生，也知道病人正在接受治療。然而，模型首先掌握的是大量文字之間的關係，文句可能合理且精準萬分，卻非來自真實經驗或意義上的表達。

換句話說，人類知道靠近火會感覺熱，碰到火可能受傷，紙張接近火焰可能燃燒，語言模型可以從文字中學會這些關係，也能把它們描述得非常到位，卻沒有皮膚被火燙到的經驗。因此，真正值得探索的問題是，什麼才叫作「理解」？

AI文章非僅補字接龍

如果理解是指掌握文字關係，辨認語境，追蹤人物與處理句子結構，那麼今天的語言模型，確實已經展現出相當複雜的能力。近年的研究也發現，模型內部會形成可以追蹤的概念表徵，研究人員利用「機制可解釋性」研究模型內部運作，發現模型有時會形成中間概念，再把這些資訊轉換成最後的文字。

Anthropic的研究甚至觀察到，Claude在寫詩時可能提前考慮後面的押韻，這表示「一次預測一個token」描述的，是模型最後如何輸出文字，並不能完全代表模型內部只有單純的逐字接續。

可見，把大型語言模型想成「超大型自動補字機」，是不夠完整的，它的訓練目標是為了預測下一個token。可是，為了讓預測愈來愈準，模型必須從大量文字中建立複雜關係，包括語句結構、上下文、人物關係和某些抽象概念。

漂亮話中藏無腦失誤

這裡有一個很重要的觀念：簡單的訓練目標，可能產生複雜的能力。

最新研究也開始進一步探討，next-token prediction是否能讓模型形成與人類概念有關的內部表徵，另有研究嘗試加入「概念層級預測」（concept-level prediction），讓模型學習「媽媽、母親、媽咪」可能指向同一個概念。

這讓問題變得更加有趣，從文字預測中，究竟會自然長出多少理解能力？但這仍不足以證明AI已經擁有人類式的語言理解，畢竟，語言模型是從文字中建立概念與關係，其和真實世界始終有一層難以突破的隔閡。這也是為什麼：AI有時能寫出非常漂亮的文章，卻仍可能犯下簡單的事實錯誤。

不理解也能處理資訊

上篇文章談到影像AI時，得知它能從大量像素中找出規律，卻可能因細微變化而誤判。語言模型同樣是從大量資料中學習規律，只是它處理的對象，從像素變成了文字。然而，當AI能回答問題、寫故事、翻譯外語時，人類還是很容易把「能使用語言」與「真正理解語言」畫上等號。

目前的研究給出的答案仍然沒有這麼簡單，大型語言模型確實會形成複雜的內部表徵，也可能進行超越眼前token的內部處理，至於這些能力應該稱為「理解」，某種形式的「認知」，或高度複雜的資訊處理，目前仍存在學術爭論。

AI預測能力愈來愈強

所以，真正需要掌握的，可以濃縮成一條因果鏈：文字→token→數值表示→上下文計算→下一個token的機率→生成新的文字。這個看似簡單的循環，經過極大量訓練後，可能產生我們今天看到的語言能力，這就是大型語言模型最令人驚訝的地方，它從預測下一個token開始，最後卻能表現出遠遠超過自動補字的語言能力。

理解了大型語言模型的關鍵切入點，我們才算真正踏進GPT的核心世界。



學習重點

大型語言模型最核心的訓練任務，是根據已經出現的文字，預測下一個token。這個任務本身非常單純，但當模型在龐大的文字資料與運算資源中反覆學習後，會逐漸形成複雜的語言表徵與上下文能力。

因此，看到AI能寫出流暢文章時，不能只用它只是猜字來解釋，也不能直接把流暢表達等同於人類式理解。

2025至2026年的機制可解釋性研究已經發現，模型內部可能存在概念表徵、跨語言共享的處理空間，以及提前規畫等現象。

目前最合理的理解方式，是把下一個token預測視為語言模型的基本運作目標，再進一步觀察這個目標經過大規模訓練後，究竟產生了哪些能力。



關鍵概念

˙ 語言模型依靠的是token預測與數值計算

˙token是語言模型處理文字的基本單位

˙ AI從大量文字中學習詞語、句子與概念之間的關係

˙ 下一個token預測能逐步產生完整文章與對話

˙ AI複雜的語言能力是從簡單的預測任務中逐漸形成

˙ AI能流暢使用語言，卻不代表具有人類式的理解與經驗