扫描打开手机站
随时逛,及时抢!
当前位置:首页>综合资讯>

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多

时间:2023-07-31 14:03:14 来源:网络整理 作者:bianji123

IT之家 7 月 31 日消息,用户使用的语言对大型语言模型(LLM)的成本影响很大,这可能会造成英语使用者与其他语言用户之间的人工智能差距。 最近的一项研究表明,由于此类服务的服务器成本衡量和计费方式,英语输入和输出成本远低于其他语言,简体中文大约是英语的两百思特网倍,西班牙语是英语的 1.5 倍,而缅甸的掸语是英语的15倍。

IT Home 注意到 用户 Dylan Patel(@)分享了一张牛津大学进行的研究的照片,该研究发现 LLM 处理一个缅甸语句子需要 198 个引理(),而英语中的同一个句百思特网子只需要 17 个引理。 引理表示通过 API(例如百思特网,或 2)访问 LLM 所需的计算成本,这意味着使用此服务的缅甸语句子比英语句子贵 11 倍。

词形还原模型(人工智能公司将用户输入转换为计算成本的方式)意味着英语以外的语言使用和训练模型的成本要高得多。 这是因为像中文这样的语言具有不同的、更复杂的结构(无论是语法还是字符数量),导致它们需要更高的词形还原率。 例如,根据GPT3分词器,“你的爱(your )”的分词在英文中只需要两个分词,但在简体中文中则需要八个分词。 虽然简体中文只有4个字符(Your Love),而英文有14个字符。

广告声明:文章中包含的外部跳转链接(包括但不限于超链接、二维码、密码等)用于传达更多信息,节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。

本文地址:https://www.best73.com/zdmzt/279029.html
特别声明:以上内容来源于编辑整理发布,如有不妥之处,请与我方联系删除处理。
热门资讯
查看更多