谷歌CEO透露：下一代大型机型将适配

2023/6/29 12:10:04 主编：孟泽

谷歌CEO爆料：新模型将与大语言模型相结合，成本预计将达到数千万美元，甚至数亿美元。

谷歌，实在是太厉害了。

是不是说与类似GPT-4的大模型的合并终于要来了？

一是利用强化学习击败人类围棋冠军并创造历史的AI系统。 另一个是目前最强大的多模态大型模型，几乎统治了所有大型模型列表。 两个AI的组合几乎是无敌了！

谷歌CEO近日对外媒Wired表示，目前仍在开发中，需要几个月的时间，谷歌准备花费数千万美元，甚至数亿美元。

此前，Sam 透露，创建 GPT-4 的成本超过 1 亿美元。 谷歌当然也不能输。

太长了，不看版本

GPT-4等大型模型的语言功能将被合并，系统解决问题和规划的能力将大大增强。

它将整合强化学习和树搜索。

强化学习方面的丰富经验将为.

下一个算法，超越

据首席执行官 Sam 介绍，GPT-5 距离发布还有一段时间，至少 6 个月后才会开始训练。 虽然发布日期尚未确定，但可能会在几个月内。

仍在开发中的还有一个用于处理文本的大型语言模型，其性质与 GPT-4 类似。

但谷歌首席执行官戴米斯表示，它将结合其中使用的技术，这将赋予系统新的规划和解决问题的能力。

2016年，击败围棋世界冠军李世石的场景还历历在目。

表示，“可以说，系统的一些优势与大语言模型令人惊叹的语言能力结合在一起。而且，我们还有一些其他有趣的创新。”

据说它在集成工具和 API 方面非常高效，具有以前模型中没有的多模式功能。 此外，还将提供多种尺寸，旨在支持内存和规划方面的未来创新。

3月份曾​​有这样的说法：像GPT-4一样，它将有万亿个参数。 而且，据称将使用数万颗谷歌TPU AI芯片进行训练。

在上个月的谷歌开发者I/O大会上，谷歌提到，从一开始，谷歌的百思特网目标就是多模态、高效的集成工具和API。

当时，谷歌的公告是：“虽然还处于早期阶段，但我们已经看到了以前模型中从未见过的多模式功能，这令人百思特网印象深刻。”

其背后的技术就是强化学习，这是第一个技术。

强化学习代理随着时间的推移与环境进行交互，通过反复试验来学习策略，从而最大化长期累积奖励

通过强化学习，人工智能能够通过试错和接收反馈来调整其性能，从而学习处理非常困难的问题，例如在围棋或视频游戏中选择如何采取下一步行动。

此外，还使用蒙特卡罗树搜索（MCTS）方法来探索和记住棋盘上所有可能的动作。

这并不是第一次大规模的人工智能淘金热激起科技巨头的关注。

2014 年，人工智能通过强化学习学会了玩简单的视频游戏。 这个成绩实在是太惊人了，以至于直接被谷歌收购了。

事实证明，谷歌的赌注是正确的。

未来几年，每隔一段时间就会产生惊人的成果。

深度学习和强化学习正在解决许多经典的人工智能问题，例如逻辑、推理和知识表示

2016年，这一翻天覆地的突破直接点燃了深度学习的热潮和第一轮人工智能产业。

2017年，零号在不使用人类数据的情况下迅速超越了它。

零

2020年，蛋白质结构预测堪比实验室技术，蛋白质折叠问题基本得到解决。

今年6月，一种新的排序算法的创建可能会彻底改变计算机科学的效率和结果。

与更为通用的路线相比，垂直领域已经深耕多年。

语言模型的下一个重大飞跃在哪里？ 也许指导下一代语言模型的方向。

最后一站

显然，这是的最后一搏。

谷歌开创的许多技术，例如建筑学，使最近的人工智能洪流成为可能。

由于其在技术的开发和部署上过于谨慎，在面对与其他生成式AI的竞争时暂时落后了。

为了应对，谷歌连续抛出了多项动作，比如推出Bard、将生成式AI整合到搜索引擎等产品中。

为了集中精力做大事，4月，谷歌索性与谷歌主要人工智能实验室 Brain合并，并入谷歌。

他显然对合并后的新团队非常有信心。 他说，新团队汇集了对人工智能最新进展至关重要的两股力量。

“如果你看看我们在人工智能方面的进展，你会相信未来 80% 或 90% 的创新将来自其中一个团队。 两支球队在过去的十年里都取得了极其出色的成绩。 ”

新主意

训练像 GPT-4 这样的大规模语言模型需要输入来自书籍、网页和其他来源的大型精选数据集。

使用训练数据中的模式熟练地预测后续文本中应出现的每个字母和单词。

这种看似简单的机制在回答问题和生成文本或代码方面非常强大。

但这个看似简单的技术原理也遭到了很多行业领袖或者人工智能百思特网专家的诟病。

马斯克：当前AI技术的本质是统计

LeCun：目前AI的智力水平还不如狗

GPT系列模型的突破是基于核心技术，非常积极地使用RLHF来强化模型的能力。

并且在强化学习方面也有非常丰富的经验。

这让人们有非常充分的理由期待未来可能展现的创新能力。

更重要的是，他和他的团队还将尝试利用人工智能其他领域的核心技术来增强大语言模型的能力。

技术积累非常广泛。

从机器人到神经科学，他们的武器库中有各种各样的装备可供选择。

例如，像LeCun这样的AI巨头就表示，语言模型的能力过度受限于文本的范围。

与人类和动物一样，从世界的物理经验中学习可能是发展人工智能的最佳解决方案。

也许在身体上，人工智能会在其他方向展现潜力。

不确定的未来

其使命是加速谷歌人工智能技术的发展，同时管理未知和潜在的严重风险。

大语言模型的快速进步，让很多人工智能专家担心这项技术是否会打开潘多拉魔盒，让人类社会付出难以接受的代价。

人工智能可能给人类社会带来的好处是不可估量的。

人类必须继续发展这项技术。

强制暂停人工智能技术的发展是完全行不通的。

但这并不意味着他和他的领导者会不顾后果地推动技术向前发展。

毕竟谷歌谷歌放弃了AI技术的领导地位。

很大一部分原因是对AI发展“过度负责”的态度。

网友：不容乐观

但对于未来的发布，考虑到谷歌的保守态度，大多数网友似乎不太乐观。

你认为这个类似 AGI 的模型什么时候发布？

我赌 10 美元，谷歌永远不会发布这个东西。

如果有人关注过的项目，就会发现他们一般都是吹牛一阵子，然后就啥也没发布，一年后就杀掉这个项目。

不过，网友们还是认可谷歌对当前大语言模型的贡献。

网友A：使用的大语言模型技术基本都是发明的

网友B：是的，但是特斯拉发不了财，但是爱迪生可以。

这位网友非常看好利用自己在强化学习方面的经验可以在大型语言模型上取得突破。

不过，他仍然认为谷歌可能只会用改进现有产品的想法来推进这项技术，而不是推出全新的产品。

参考：