文章目录
● 概要
● 整体架构流程
● 小结
概要
收到视觉语音大模型 AI 开发套件( CSK6-MIX ),学习基础的大模型开发例子,根据官方的大模型示例实现一个小例子,通过询问AI 某地天气,AI 大模型通过云端获取天气信息返回语音播报,并根据语音信息绘制当地天气信息图片。
整体架构流程
1.大模型云端应用服务创建
打开聆思平台创建应用:
聆思平台(LSPlatform) 聆思平台开发文档 | 聆思文档中心
创建一个天气绘制图的应用
打开应用 ,点击“编排应用”,会打开编辑页面,如果没有打开多点击几次。
正常打开编辑页面
导入示例工程
2. 修改应用功能
例程应用功能如下:
● 可通过“小聆小聆”对设备进行唤醒
● 可通过语音交互与大模型进行对话
● 可通过语音交互使用大模型绘制图片并显示在屏幕上
● 可通过语音交互通过大模型控制屏幕显示的颜色
我们需要大模型增加天气判断信息,根据获取天气信息后绘制图片
1.增加落域关于天气判断,增加天气处理分支。
2.通过星火大模型获取天气信息后,增加绘图处理,和语音下发。
3. 创建提示词和大模型API key
AIUI使用指南 | 聆思文档中心
提示词 | 聆思文档中心
4.将提示词和API key填好后,就可以点击部署,然后创建产品,导入设备id,通过命令将id读取后放入一个txt文件内,然后导入。
复制产品的id和密钥,通过命令写入开发板,然后就可以进行大模型通话了
编译大模型例程并进行烧录
小结
完成一个简单的大模型示例,后面再继续学习。
示例分享来自社区博主IT蜗壳-Tango:【【聆思大模型AI开发套件】+ 根据天气绘制图片】_大模型套件
示例使用的开发板SDK和开发资料:套件简介 | 聆思文档中心