到底什麼是Token？搞懂AI的入門必修課

1. AI大模型根本沒法直接處理我們輸入的原始文本，所有內容處理的第一步，都是先把文本轉換成Token
2. 說白了，Token就是文本喂給模型之前，被拆分成的最小處理單元
3. 一個Token可以是一整個單詞、單詞的一部分、標點符號，甚至只是一個空格
4. 常用詞通常只會被拆成1個Token，而長詞、生僻詞往往會被拆成更小的片段，比如英文的encoding就會被拆成encod+ing兩段
5. 給大家一個通用的換算參考：1個Token大約對應4個英文字符，或是3/4個英文單詞；不過這個數值不是固定的，會根據語種和分詞器（Tokenizer）的不同發生變化
6. 完整的處理流程是這樣的：先把文本分詞轉成Token，再把每個Token映射成對應的數字ID，接著把ID轉換成模型能識別的向量，走完這三步，模型才會正式開始處理你的內容
7. 還有大家常聽的「上下文窗口」，也是用Token來計量的——窗口的Token上限，直接決定了模型單次對話能「記住」多少內容
8. 最後一點大家肯定很關心：Token也是生成式AI的核心計價單位，我們平時用AI花的錢，全都是按Token的用量來結算的

上面說的還只是冰山一角，Token背後的底層邏輯遠比你想的更有意思。