基座模型在电力系统的应用 原创

​摘要——基础模型，如大型语言模型（LLMs），可以在不进行任何任务特定的数据收集或模型训练的情况下响应各种无格式查询，为大规模电力系统的建模和运行创造了各种研究和应用机会。在本文中，我们概述了如何开发诸如GPT-4之类的大型基础模型，并讨论了它们如何在具有挑战性的电力和能源系统任务中发挥作用。我们首先通过验证其在电力系统领域四个代表性任务中的性能来调查现有基础模型的潜力，包括最优潮流（OPF）、电动汽车（EV）调度、电力工程技术报告的知识检索和态势感

I. 引言

近年来，像大型语言模型（LLM）和大型多模态模型这样的基础模型的进步极大地改变了人工智能和机器学习（ML）的格局[1]，[2]。由OpenAI开发的生成预训练变换器4（GPT-4）的对话变体ChatGPT被广泛认为是向大型基础模型迈进的里程碑。标准的机器学习模型通常是在单一来源、特定领域的数据集上训练的，这在很大程度上受到数据收集和应用范围的限制。而大型基础模型则基于变换器神经网络架构[3]，在前所未有的计算和数据规模上进行训练。一旦训练完成，它们在推理、抽象、理解和预测等各种领域和任务中展示出令人印象深刻的、可推广的能力。这些模型确实彻底改变了机器学习算法的发展和实施，并揭示了许多新的机会。

基础模型提供的等同于甚至超越人类水平的能力，激励我们探索提升电力系统建模和运行性能的新机会。[4]探讨了大型变换器模型在电力系统时间序列预测和插补中的预训练，而在[5]中，作者展示了ChatGPT在生成测试电路方面的早期成功。然而，基础模型提供的许多能力尚未用于提高电网的可靠性和效率。例如，这些大型基础模型已被证明能够在一定程度上输出理解、推理，并在各种领域使用工具[6]。这些能力可能有助于甚至改变大规模电网的操作程序。

在本文中，我们系统地开发了应用管道，并检查了大型基础模型在一组电力系统建模和操作任务中的能力。我们发现，使用现成的预训练基础模型，如GPT-4和GPT-4 Vision（GPT-4V），确实能够为帮助工程师、政策制定者和能源用户解决电力和能源领域的挑战性问题创造多条新路径。这些问题通常涉及高维无结构数据，例如与纯文本技术文档、系统测量或图像数据的交互。此外，通过利用大型基础模型的力量，有效地消除了用户与电力系统互动的障碍。这不同于其他机器学习在电网应用中的实施。例如，先前的研究表明，机器学习算法可以成功预测位置边际价格和电力调度信号[7]，[8]。但这需要训练有素的工程师仔细制作标记的操作数据和特定的机器学习模型。相反，大型基础模型可以潜在地减轻数据收集和模型训练的负担，同时为系统操作员和能源用户提供即时反馈[9]。为了探索大型基础模型在电力系统任务中提供的能力，我们设计了特定的提示和互动范式，展示了基础模型可以通过仅与提示互动而无需使用优化求解器直接解决简化的最优潮流（OPF）问题；我们还演示了LLM可以作为终端用户和电动汽车充电控制算法之间的中介，以便根据用户的偏好轻松设置优化调度模型；虽然预训练的大型基础模型在电力和能源系统方面可能缺乏准确知识，但我们发现使用检索增强生成[10]通过在特定领域嵌入大型技术报告来解决这些挑战。

特别是，我们关注电力系统建模和运行的独特特征[11]，因为它相比于其他一般的自然语言处理或视觉相关任务表现出不同的复杂性和领域知识。本文中展示的示例应用可以扩展到各种电力系统任务，如电网建模[11]、市场运行[12]、态势感知[13]、能源管理和电力调度[14]、异常检测[15]以及在各种设置下的预测任务[16]。为了促进此类强大工具的发展和利用，我们将我们的算法和详细的模拟测试案例，特别是多模态和其他时间序列预测示例公开1。

II. 方法论

A. 作为优化器的LLM

优化已被视为解决电力系统中各种决策问题的基础工具，如最优潮流（OPF）、电动汽车充电调度和建筑能源系统管理[17]。尽管研究人员已经提供了许多解决方案，但从计算成本和算法性能的角度来看，仍然存在挑战。特别是，对于缺乏优化或电力系统领域知识的各种用户来说，学习建模和解决这些问题是不现实的[18]。通过提示进行优化（OPRO）展示了LLM通过自然语言描述问题，然后根据任务描述和先前生成的解决方案迭代生成新解决方案的能力[19]。我们进一步开发了一个名为LLM for the OPF（LLM4OPF）的框架来解决约束优化问题，如图1(a)所示。在这个框架中，我们生成带有历史解-成本对和任务描述的提示。在每个优化步骤中，从解-成本对缓冲区中检索具有最小成本值的若干解-成本对，LLM优化器根据精心设计的提示生成新解决方案。满足物理约束的新解决方案将存储在解-成本对缓冲区中。详细的提示和响应示例在我们的在线存储库中描述[20]。我们还探讨了LLM4OPF在不同约束下快速适应新问题的能力，基于新的任务描述和先前问题的解决方案。

（注释：最优潮流（Optimal Power Flow，简称 OPF）是电力系统中的一种计算方法。它的目标是找到一种最优的电力分配方式，使得电力网络的运行既经济又安全。简单来说，就是在确保电网稳定的前提下，尽量降低发电成本或其他运营成本。

具体来说，OPF 会考虑电力系统中的各种因素，比如发电厂的生产能力、电力需求、传输线路的容量限制等，通过数学优化的方法找到最优解。这一过程会帮助电力公司决定哪些发电机应该运行、运行多少功率，以及如何调度电力在网络中的传输，从而实现最经济高效的电力供应。）

虽然OPRO可以在某些优化问题中找到高质量的解决方案，但在解决空间中的低效搜索限制了其在大规模优化问题中的应用。[18]经验性地展示了LLM生成代码的能力，但在执行过程中偶尔会触发错误。因此，我们在名为LLM for EV（LLM4EV）的新框架中引入了优化问题的函数模板，而不是依赖LLM生成整个代码。LLM与终端用户交互，理解查询，编写代码调用函数，并向终端用户解释代码执行的结果。如图1(b)所示，我们的交互过程在用户和LLM之间进行。完整的交互过程在[20]中详细描述。

图 1：大型基础模型的设计：

(a) 解决 OPF（LLM4OPF）；

(b) 调度电动汽车充电（LLM4EV）；

(c) 文档摘要和知识检索。

（注释：（a）流程图分为以下几个步骤：

1. Retrieve data (检索数据)

- 在第一个步骤中，系统从数据源中检索到解决问题所需的基础数据，包括元提示（Meta-Prompt）、解决方案-成本对（Solution-Cost Pairs）和任务描述（Task Description）。

2. Input prompt (输入提示)

- 将检索到的数据输入到一个大型语言模型（LLM）优化器中，这一步骤负责生成新的解决方案。

3. Generate new solution (生成新方案)

- LLM优化器基于输入的提示生成一个新的解决方案。

4. Evaluates whether the new solution can satisfy constraints (评估新方案是否满足约束条件)

- 生成的解决方案会通过约束评估器进行评估，以确保它满足所有的约束条件。

5. If yes, calculate the cost (如果满足约束，计算成本)

- 如果新的解决方案通过了约束评估，那么接下来由目标函数评估器计算该方案的成本。

6. Derive solution-cost pair and store (生成解决方案-成本对并存储)

- 成本计算完成后，生成一个解决方案-成本对，并将其存储到解决方案-成本对缓冲区中。

7. Solution-Cost Pair Buffer (解决方案-成本对缓冲区)

- 在缓冲区中存储多个解决方案-成本对，便于进一步优化和选择。

8. When finish, output the solution with minimal cost (完成时，输出成本最低的方案)

- 最后一步，当所有步骤完成时，系统会输出成本最低的解决方案。

这张图的流程展示了一个优化系统如何使用大型语言模型生成和评估多种解决方案，并最终选出最优的解决方案，确保在满足所有约束条件的前提下，找到成本最低的解决方案。）

B. 用于知识检索的LLM

在本小节中，我们介绍了采用LLM实现能源领域长文本文件摘要和问答（QA）的方法，称为LLM4Doc。我们的方法框架如图1(c)所示，其中我们采用检索增强生成（RAG）和提示工程（PE）作为工作主力。RAG是一种基于自然语言生成和信息检索的混合机制，能够通过从有用数据语料库中提取信息来丰富LLM的知识，就像从图书馆借书一样[10]。结合RAG，LLM不仅可以生成上下文准确的信息丰富的输出。检索涉及从大量数据语料库（如文本文件和数据库）中搜索相关信息。仅使用检索可能会生成不准确或不相关的输出。增强涉及将检索到的信息纳入LLM的内部知识表示中，以显著提高LLM的输出质量。生成则涉及从LLM生成文本。

我们首先将长文本文档处理成向量嵌入，然后将这些向量集成到一个外部知识库中。基于此知识库，我们要求GPT-4对处理后的文档进行摘要和多个QA。另一方面，提示工程是LLM开发中的一个关键步骤，专注于改进语言提示，以帮助LLM更好地理解人类的需求，并生成相当准确、相关且信息丰富的输出[21]。提示工程有多种目的。具体来说，在本文中，我们设计了一种提示格式，用户可以定制不同部分以获得多样化的答案，如图2所述。

图 2：处理电力系统技术文档的提议工程化提示的格式。

C. 用于态势感知的大型多模态模型

多模态模型能够跨不同数据类型（如语言、视觉等）连接学习到的表示，以获得更全面的理解并生成适当的响应。当前最先进的多模态模型基于LLM，并通过图文对的增量预训练构建[22]，因此所得到的模型可以通过多种类型的模型输入和输出数据来完成各种任务。这种能力可以为电力系统应用提供有价值的工具，因为系统测量和日志数据本质上是大规模和多模态的。特别是，我们研究了可以通过大型多模态模型解决的态势感知问题[13]。为了保证操作安全，系统操作员需要进行及时有效的测量处理、操作状态理解和异常检测。例如，[23]中使用成像数据来识别绝缘子表面状态。然而，目标情况样本的可用性有限和操作情况的多样性有限，如变电站通常处于正常状态，很少发生火灾，这使得难以培养专门的火灾检测器。因此，具有可靠和一致的视觉-文本表示的零/少样本情况监控非常受欢迎。GPT-4V是一个有能力的候选者[24]，它拥有强大的图文检索能力，可以为测量图像生成准确的场景描述，以及出色的零/少样本泛化推理和场景转移能力，以识别罕见情况。在这项工作中，我们提出了一个名为LLM4SA的框架，通过采用上下文学习加提示工程[25]来绕过繁琐的事后微调。在这方面，适当的提示设计起着关键作用，应该提供高对应性和具体检测任务或情况类别信息的多模态QA示例[26]。

有两种正交的方法来实现理想的情况理解。一种方法是指令调整结合提示学习[27]，需要手工制作领域特定的输入-标签对，并使用它们来定制一个特设的提示嵌入并优化LLM的原始参数。但由于大规模参数微调所需的数据收集和计算工作量巨大，这种方法难以执行。另一种方法是上下文学习加提示工程[25]，这种方法绕过了繁琐的事后微调。在这方面，适当的提示设计起着关键作用，应该提供高对应性和具体检测任务或情况类别信息的多模态查询-回答示例[26]。在这项工作中，我们主要关注上下文学习能力，通过策划详细的上下文提示来实现零/少样本态势感知。

III. 在电力系统中的应用

A. 最优潮流

在本文中，我们考虑了在节点功率平衡和功率流方程上简化约束的OPF问题。详细的公式可以在[20]中找到。在这个问题中，我们最小化二次发电成本Ci (Pi) = aiPi² + biPi + ci，i ∈ Ω，其中Pi表示发电机i ∈ Ω的输出功率。ai, bi和ci表示成本系数。所有发电机都有发电限制。

我们在一个5单元测试案例[28]上评估LLM4OPF，并在两个任务中将其性能与Gurobi求解器[29]进行比较。在第一个任务中，我们设置节点负载Le = 400，并指示GPT-4执行n = 300次优化步骤。随后，在第二个任务中，我们将Le设置为405，并将从第一个实验中获得的解-成本对作为提示的一部分。然后，我们让GPT-4 API执行50次优化步骤，以评估LLM4OPF在不同约束下适应新任务的能力。

实验结果如图3(a)和图3(b)所示，表明LLM4OPF可以迭代优化以最小化成本。请注意，我们仅存储和绘制满足约束的解。如表I所示，LLM4OPF获得的成本和发电机热输出值与Gurobi优化器实现的值非常接近。此外，显然，当提供相关问题的解决方案时，LLM4OPF可以用更少的优化步骤来实现新任务的解决方案。这些结果显示了LLM在解决优化任务中的强大能力。

图 3：OPF 测试案例

(a) 总成本；

(b) 发电值。

B. 电动汽车充电

我们考虑一个可以同时为一组电动汽车j ∈ V提供充电服务的充电站[30]。电动汽车充电优化问题被表述为优化每辆电动汽车的充电功率uj(t)，受电动汽车充电动态xj(t) = xj(t - 1) + δuj(t)的约束。δ和xj(t)分别表示充电效率和电动汽车在时间t的电荷状态。我们使用由5个充电会话和20个时间步组成的测试案例进行实验，以评估LLM4EV框架的性能。通过此测试，我们主要评估我们提出的方法在以下方面的性能：

- 给定任务描述和代码示例，LLM是否能利用自然语言向用户询问解决电动汽车充电优化问题所需的参数？

- LLM能否理解用自然语言描述的电动汽车充电优化问题，并生成正确的代码来调用提供的函数？

- LLM能否准确解释代码的输出并向用户解释结果？

从图4中，我们发现GPT-4能够智能地根据提供的函数和任务描述向用户生成精确的问题。值得注意的是，提出的8个问题完全对应于函数solve EV的8个参数。此外，即使用户以自然语言提供答案，GPT-4也表现出强大的理解和生成相应代码的能力。例如，当提出“你的车辆的初始状态（电荷水平）是什么？如果有多辆，请分别列出”的问题时，用户的回答是“它们都从零开始”。随后，GPT-4生成准确的代码“initial states = [0, 0, 0, 0, 0]”。详细的实验结果见[20]。

C. 通过多模态能力实现态势感知

我们利用GPT-4V的多模态能力基于场景图像实现态势感知。态势感知通常涉及异常检测等分类任务。在本部分中，我们展示了基于卫星图像的野火检测结果[31]，这是一个二元分类任务。我们设计了4种方法：(1)一个图像查询并直接询问图像中是否存在野火；(2)一个图像查询并应用提示工程；(3)多个图像示例以及作为工程提示的真实标签；(4)在(3)的基础上，添加与真实标签相关的语言解释。

为了获取每种方法的平均准确率，我们进行了多轮实验，每轮涉及5张正面图像和5张负面图像。方法(3)的一个示例如图5所示，完整结果见[20]。在所有方法中，方法(4)的准确率最高，达到了91%，证明了GPT-4V能够利用多模态信息提高性能，而方法(3)的准确率为86%，也表明少样本提示的有效性。然而，值得注意的是，GPT-4V在特定图像分类任务中的表现仍然不如标准ML模型，如卷积神经网络的准确率为94%，随机森林为96%。即便如此，GPT-4V在节省训练时间和数据收集过程方面具有显著潜力，这对于典型的ML方法是必要的。此外，GPT-4V在接受和生成多模态输出方面更具灵活性，例如生成当前状态的解释。

D. 基于能源上下文的文档理解

在这个实验中，我们构建了第二节B部分所示的管道，用于从电力系统文档中描绘和检索知识，并将其应用于177页的联邦能源监管委员会（FERC）第901号命令[32]。此FERC命令制定了处理涉及逆变器资源的可靠性差距的可靠性标准。为了探索GPT-4在不同QA任务中的能力，我们将问题分为两类。一般性问题询问文档的整体内容，如“请总结此文件”、“此技术报告的结构是什么”。而技术性问题则更关注文档中提到的技术细节，如“文件中相锁环同步是什么？”，“请告诉我，在此文件中的可靠性标准中，哪个标准最有用？”完整的评估问题列表见[20]。

为了研究RAG带来的专业能力，我们比较了两个技术问题的答案，如图6所示。使用RAG的GPT-4能够处理基于大型能源上下文的文档的深度理解。我们可以看到，没有RAG的GPT-4无法理解相对复杂的技术短语。使用RAG后，GPT-4不仅可以详细解释技术词汇，还可以解释其重要性或用途。这有助于理解技术报告以及将用户特定的电力系统知识嵌入基础模型中。

图 6：基于 FERC 第 901 号命令的两项技术问答的评估，有和没有 RAG 的比较。

表 II：使用案例、限制及未来可能的发展总结。

IV. 限制、总结和未来工作

在本文中，我们探索了一组有前途的应用，展示了开发基础模型在电力系统中的承诺和挑战。通过一系列理解、建模和操作任务验证了这些模型的潜力。我们展示了LLM和多模态模型在没有微调或进一步训练的情况下提供的显著性能。我们得出结论，这些基础模型的强大能力可以为系统操作员、政策制定者和终端用户提供高效工具。

虽然我们注意到大型基础模型在工业部署中仍处于初期阶段，因为对模型行为的理解仍然有限，并且需要在实际场景中进行彻底的评估和测试。我们还注意到当前基础模型使用中的一系列限制，如模型有效性、效率和适用场景，详细信息见表II。

Huang C, Li S, Liu R, et al. Large foundation models for power systems[J]. arXiv preprint arXiv:2312.07044, 2023.

Monash University, Australia

本文转载自公众号AIRoobt ，作者：AIRoobt

原文链接：​​https://mp.weixin.qq.com/s/qC7VakvIP8x6PUf6AuKHBQ​​