大模型生成优化：混合代理架构（MOA）

精选原创

八月初夏 2024-07-23 11:41:06 ©著作权

文章标签 自然语言处理 MOA MOE AIGC 人工智能 文章分类 AI写作 AIGC AIGC二三事

©著作权归作者所有：来自51CTO博客作者八月初夏的原创作品，请联系作者获取转载授权，否则将追究法律责任

论文笔记

大模型生成优化：混合代理架构（MOA）_AIGC

题目

Mixture-of-Agents Enhances Large Language Model Capabilities

作者

Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

论文摘要

近年来，大型语言模型（LLMs）在自然语言理解和生成任务方面取得了显著进展。然而，单个模型在规模和训练数据上存在固有的限制，进一步扩展这些模型的成本非常高。因此，如何利用多个LLMs的集体优势成为一个有趣的研究方向。本文提出了一种新方法——代理混合（MoA），通过构建一个分层的MoA架构，每层包含多个LLM代理，每个代理在生成响应时参考前一层代理的输出。MoA模型在AlpacaEval 2.0、MT-Bench和FLASK等基准测试中表现优异，超越了GPT-4 Omni。例如，使用仅开源LLMs的MoA在AlpacaEval 2.0上得分为65.1%，相比GPT-4 Omni的57.5%有显著提高。

研究动机和背景

LLMs在自然语言处理任务中展示了强大的能力，但个别模型在规模和数据量上存在限制，扩展成本高昂。不同LLMs在任务方面具有独特优势，例如一些模型在复杂指令执行方面表现出色，而另一些则在代码生成方面更为擅长。本文探讨了多个LLMs是否可以协同合作以创建更强大和健壮的模型。

MoA方法

本文提出了代理混合（MoA）方法，利用多个LLMs的集体优势来提高生成质量。MoA结构分为多个层，每层包含多个代理。初始层的代理生成响应，随后层的代理基于前一层的输出进行进一步优化，直到生成更为完善的响应。关键在于选择适当的LLMs用于每一层，以性能指标和多样性为主要标准，确保模型输出的高质量。

实验结果

在AlpacaEval 2.0、MT-Bench和FLASK基准测试上的实验表明，MoA方法显著提升了模型的性能。在AlpacaEval 2.0上，MoA方法实现了65.1%的得分，比之前最佳的GPT-4 Omni提高了7.6%。在MT-Bench和FLASK测试中，尽管单个模型的改进较小，MoA方法仍然保持了领先地位，进一步验证了多模型协作的有效性。

大模型生成优化：混合代理架构（MOA）_MOE_02

结论

本文提出的代理混合（MoA）方法通过多层次、多模型的协作显著提升了LLMs的输出质量。实验结果证明，利用不同模型的多样性和协作性，可以超越单一模型的性能。未来的研究可以进一步优化MoA架构，探索其在不同任务中的潜力。

通过这种方法，LLMs的性能得到了显著提升，展示了集体合作在自然语言处理中的巨大潜力。

代码实现

# Mixture-of-Agents in 50 lines of code
import asyncio
import os
import together
from together import AsyncTogether, Together

client = Together(api_key=os.environ.get("TOGETHER_API_KEY"))
async_client = AsyncTogether(api_key=os.environ.get("TOGETHER_API_KEY"))
user_prompt = "What are 3 fun things to do in SF?"
reference_models = [
    "Qwen/Qwen2-72B-Instruct",
    "Qwen/Qwen1.5-72B-Chat",
    "mistralai/Mixtral-8x22B-Instruct-v0.1",
    "databricks/dbrx-instruct",
]
aggregator_model = "mistralai/Mixtral-8x22B-Instruct-v0.1"
aggreagator_system_prompt = """You have been provided with a set of responses from various open-source models to the latest user query. Your task is to synthesize these responses into a single, high-quality response. It is crucial to critically evaluate the information provided in these responses, recognizing that some of it may be biased or incorrect. Your response should not simply replicate the given answers but should offer a refined, accurate, and comprehensive reply to the instruction. Ensure your response is well-structured, coherent, and adheres to the highest standards of accuracy and reliability.

Responses from models:"""

async def run_llm(model):
    """Run a single LLM call with a reference model."""
    for sleep_time in [1, 2, 4]:
        try:
            response = await async_client.chat.completions.create(
                model=model,
                messages=[{"role": "user", "content": user_prompt}],
                temperature=0.7,
                max_tokens=512,
            )
            break
        except together.error.RateLimitError as e:
            print(e)
            await asyncio.sleep(sleep_time)
    return response.choices[0].message.content

async def main():
    results = await asyncio.gather(*[run_llm(model) for model in reference_models])
    finalStream = client.chat.completions.create(
        model=aggregator_model,
        messages=[
            {"role": "system", "content": aggreagator_system_prompt + "\n" + "\n".join([f"{i+1}. {str(element)}" for i, element in enumerate(results)])},
            {"role": "user", "content": user_prompt},
        ],
        stream=True,
    )
    for chunk in finalStream:
        print(chunk.choices[0].delta.content or "", end="", flush=True)

asyncio.run(main())

关键问题回答

论文目标

提出一种名为 Mixture-of-Agents (MoA) 的方法，通过集成多个 LLMs 来提升生成质量。

新颖性