大型号那么多，该用哪一款呢？ 而且生成的结果有好有坏，如何破解。

现在有办法一举整合各个LLM的强项，表现值满分！ 让你在不做选择的情况下做出选择。

现在通过LLM-大模型集成框架，您输入问题，自动为您排序LLM结果，然后“融合生成”最佳答案。

就像水果榨汁机一样，每个开源LLM代表不同的水果，放在一个篮子里，根据不同水果的特性进行比例混合，就可以榨出美味的果汁。

该方法不仅可以有效减少单个LLM中的偏差误差和不确定性信息，而且输出结果远高于“单独最好的LLM”的结果。

网友纷纷惊呼：太神奇了！

学习别人的大模型搅拌机

现在开源的大型模型非常多，性能差异很大。 通常我们会直接选择最好的模型来得到结果。

然而，这种方法有一些局限性。 例如，我们无法考虑所有可能的模型输出，新的数据可能会导致我们选择不同的最优结果。

目前的方法要么通过评分比较直接输出答案，要么融合不同的LLM答案，但整个过程仍然会保留有害或不正确的信息，输出结果百思特网也会相应大大降低。

因此，为了解百思特网决这一问题，提高LLM的鲁棒性、泛化性和准确性，艾伦AI实验室联合发表了南加州和浙江大学的最新研究论文。

论文提出了一种集成框架“LLM-”，该框架集成了多个开源大型模型（LLM）的优点，通过排序和融合生成两种方法，比较不同LLM生成的结果，然后融合并选择最佳输出。

LLM-主要包含“”和“”两个模块。

该模块是一个BERT结构的编码器，通过双向注意力机制捕获输出结果之间的细微差异，然后对候选输出进行排序。

操作过程是这样的。

首先，它收集每个输入的 N 个模型的输出，并创建所有可能的输出对。

然后，使用特殊的编码器来比较这些输出对，以确定哪个候选输出更好，捕获微小的差异。

在推理阶段，计算一个矩阵，其中包含所有输出对的比较结果。 然后根据矩阵确定给定输入的所有输出的排序顺序。

最后，选择每个输入中排名最高的候选输出作为最终结果。

该模块基于编码器-解码器结构，使用单个编码器对输入文本和一些候选进行编码，然后使用单个解码器对融合输出进行解码。

值得注意的是，它只将排名靠前的输出结果放入编码器中，这不仅避免了“噪声”感染，还提高了输出结果的质量。

总结一下，LLM的操作流程-：

比较 N 个 LLM 的输出，然后通过融合它们从前 N 个输出中生成最佳结果。

根据论文的解释，通过这个操作过程，可以有效筛选和组装高质量的答案。

那么效果如何，以下是团队的评价过程。

整体法学硕士优于单一法学硕士

为了保证能够对大量数据进行评估，团队专门引入了基准数据集，用于对指令跟踪任务中的LLM集成模型进行基准测试。

该团队对数据集中的 100,000 个样本进行了训练，其中 5,000 个用于验证，5,000 个用于测试。 然后，在这11万个例子上测试11个流行的开源大型模型，例如，，，，MPT等。

根据多个LLM模型在数据集上的表现可以看出，不同模型的表现存在显着差异，各有优缺点。 其中，Open、和是表现最好的三个模型，而MPT、Flan-T5排名较低。

其次，实验还表明，一些优秀模型的性能并不稳定，许多其他模型的性能比它们更好。

例如，Koala 的平均 GPT-Rank 为 6.76，但大约 40% 的测试结果表明 Koala 产生的结果优于或同等优于 Open 和 Open。

还可以看出，在排名工具部分，与GPT-Rank的最佳模型（Open）相比，表现出了更好的性能。

而团队表示，用从中选出的前三名，让他们成为最佳人选。 在此基础上，LLM-展现出了预期的优异表现。 尤其是在GPT-Rank方面，达到了3.01，大幅超越了最佳模型Open（3.90）。

（79.09）、（-3.02）、（-0.17）三个排名的成绩也都不错。

实验表明，通过对LLM框架进行排序和融合，LLM最终输出的质量得到显着提高。

团队提出了LLM——创新的整合框架，通过排名的方式减少单个LLM的弱点，通过融合生成整合优势，提高LLM的能力，可以说是非常新颖的。

不过该方法还是有一些可以优化的地方，比如引入更多的语言模型、使用不同的相似度计算方法等。

研究团队

该论文由艾伦人工智能实验室与南加州大学和浙江大学联合发表。 三位作者均来自中国，均与南加州大学 (USC) 有关。

蒋东福（Jiang）是浙江大学计算机工程专业的一名大四学生。 他即将前往加拿大滑铁卢大学攻读博士学位。 他此前曾在南加州大学（USC）担任研究实习生，当时他的导师恰好是另外两位作者。

任翔（Xiang Ren）是南加州大学计算机科学系副教授、INK 实验室主任。 他在艾伦人工智能研究所研究机器常识，也是谷歌学者。

林宇辰（Bill Li百思特网n）目前是艾伦人工智能研究所的年轻研究员。 本科毕业于上海交通大学计算机科学专业，博士也是南加州大学计算机相关专业。

此外，来自南加州NK实验室和艾伦人工智能研究所的学者也参与了该项目。

论文门户：

参考链接：