Search

Tag: #multilingual49 results

LLM中文Token稅:為何更貴

LLM中文Token稅:為何更貴

西方LLM如Claude/GPT因英文主導BPE分詞器,對中文漢字拆分低效致Token更多。中國模型Qwen/DeepSeek優化漢字/詞組,使中文更省。Claude 4.7升級僅膨脹英文Token,中文用戶倖免。

虎嗅MediaMay 3#tokenizer#multilingual#bpe
Page 4 of 5