Token何以成为AI竞争核心

　　近日,相关部门给出了Token的官方翻译——词元,再度掀起了一波讨论热潮。

　　梳理下来,有三个问题值得思考。第一,Token到底是个啥?从定义上说,这是大模型处理语言时使用的基本单位。理解这个概念,先要明白一个基本逻辑,即在与大模型的交互中,模型不会像人那样“直接读懂一句话”,而是先把一段语言拆分,再把这些拆分后的部分转成数字,最后才能继续计算。这个拆分的基本单元,就是Token。Token的调用量,正是大模型世界里最基础也最关键的那把尺子。

　　第二,Token为什么一下子火了呢?对于普通用户来说,与大模型的对话消耗的Token量有限,大部分情况也是免费的。但随着“养龙虾”的爆火,各种各样的重度任务、开发任务纷纷上马,Token使用量因而极大拉升,也把相关费用摆到了台面上。通俗点说,过去很多人是免费搭便车,如今“养龙虾”,相当于自己买了车,每次发动引擎跑业务,都得自己掏钱买“油”(Token)。

　　第三,Token为什么重要?Token是大语言模型处理文本的最小单位,更是计费的基本单位,它让智能服务可以被计量、被交易。Token消耗量越大,意味着AI被使用得越频繁,产业商业化程度越高。更关键的是,Token实际上是数据、算法、算力这三大AI核心要素在物理世界和数字世界交汇的“通用货币”。以做饭来类比,数据训练就像备菜,食材必须切成统一大小的丁(Token)才能下锅;算法就像厨艺,厨艺越高,做出的菜(生成的Token序列)越美味;算力就像煤气,火越猛,费用越高。由此,Token的生产效率和对应成本,取决于数据好不好、算法优不优、算力强不强,更是一个企业、一个国家在AI时代竞争力的体现。

　　“AI的尽头是算力,算力的尽头是电力”,这是一句科技圈名言。如果再补一句的话,那就是“电力的未来是Token”。当下,Token正在引发一场悄无声息的电力变革。有数据显示,今年3月,中国AI大模型周Token调用量连续三周超越美国。想象一下这样的场景,国际开发者向中国的AI大模型发出调用请求,请求通过光纤传到了中国某个数据中心,芯片集群开始工作,电从中国的电网流向芯片,推理完成,结果回传。中国的电力在这一刻以Token的形式,完成了跨境交付。

　　物理世界的能源、数字世界的算力、无处不在的智能服务,汇聚到了一个链条之上,并掀起新的风暴——其一,Token通过日益发达的通信网络即可完成瞬时交付,电力始终留在国家电网内,但价值已被全球用户消费,这种效率是传统电力出口无法企及的。其二,相比欧美的高电价,中国的电力价格优势明显。中国厂商也一直在算法架构创新和成本优化上发力,力求够用且便宜。当电力越来越成为欧美发展AI产业的命门,中国却靠着完善的基础设施,“绿色发展”“东数西算”“算电协同”等战略安排,以及无数创新创业者的日夜攻关,站在了相对稳当的位置之上。

　　在算力之争就是国力之争的大背景下,算力大变局的戏码才刚刚开始,把更多精力投入技术研发、产业协同中去,方能以连续的突破创新争取更多的战略主动。

　　(责任编辑:臧梦雅)