• 简体   /   繁体
“词元”是啥-读者2026年13期

“词元”是啥

作者:亦山 字体:      

最直接的答案,Token,也就是“词元”,是大模型处理语言时使用的基本单位。它不是整句话,也不总是一个完整的词,更不等于字数。人类看见的是一段表达完整的文字,模型接收到的却是一连串被切开的信息小块。模型不(试读)...

读者

2026年第13期