文章目录

● 概要

● 整体架构流程

● 小结

概要

收到视觉语音大模型 AI 开发套件( CSK6-MIX ),学习基础的大模型开发例子,根据官方的大模型示例实现一个小例子,通过询问AI 某地天气,AI 大模型通过云端获取天气信息返回语音播报,并根据语音信息绘制当地天气信息图片。

整体架构流程

1.大模型云端应用服务创建

打开聆思平台创建应用:

聆思平台(LSPlatform) 聆思平台开发文档 | 聆思文档中心

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AI生成

创建一个天气绘制图的应用

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AIGC_02

打开应用 ,点击“编排应用”,会打开编辑页面,如果没有打开多点击几次。

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AI生成_03

正常打开编辑页面

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AI生成_04

导入示例工程

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_大模型_05


2. 修改应用功能

例程应用功能如下:

● 可通过“小聆小聆”对设备进行唤醒

● 可通过语音交互与大模型进行对话

● 可通过语音交互使用大模型绘制图片并显示在屏幕上

● 可通过语音交互通过大模型控制屏幕显示的颜色

我们需要大模型增加天气判断信息,根据获取天气信息后绘制图片

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AIGC_06

1.增加落域关于天气判断,增加天气处理分支。

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_智能硬件_07

2.通过星火大模型获取天气信息后,增加绘图处理,和语音下发。

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_多模态_08

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_智能硬件_09


3. 创建提示词和大模型API key

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_大模型_10

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_多模态_11

AIUI使用指南 | 聆思文档中心

提示词 | 聆思文档中心

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_多模态_12

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_智能硬件_13

4.将提示词和API key填好后,就可以点击部署,然后创建产品,导入设备id,通过命令将id读取后放入一个txt文件内,然后导入。

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AI生成_14

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_AI生成_15


复制产品的id和密钥,通过命令写入开发板,然后就可以进行大模型通话了



编译大模型例程并进行烧录

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_大模型_16

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_智能硬件_17

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_多模态_18

【多模态大模型开发】 根据天气信息在屏幕上实时生成气象图片_智能硬件_19

小结

完成一个简单的大模型示例,后面再继续学习。


示例分享来自社区博主IT蜗壳-Tango:【【聆思大模型AI开发套件】+ 根据天气绘制图片】_大模型套件

示例使用的开发板SDK和开发资料:套件简介 | 聆思文档中心