前言

百度智能云千帆平台正式升级到4.0全新版本,计划打造以Agent为核心一站式平台千帆企业级MCP服务包括了百度独有的AI搜索MCP Server等核心组件相信不少朋友也想看看智能硬件结合这个平台服务表现如何这篇CSK6大模型开发板接入百度智能云千帆平台4.0和百度搜索MCP服务演示一下接入步骤大家参考下面步骤接入即可

由上图可见,当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

云端服务接入千帆大模型

1、创建应用

登录https://platform.listenai.com/application创建新应用

创建成功后在弹出的界面进入应用编排服务。

2、导入工程

  1. 下载工程示例:https://docs2.listenai.com/z/210.json
  2. 导入工程示例:选择千帆大模型示例.json文件导入

若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。

链路说明

导入模板示例中包含3条链路,分别为

  • 链路1: 可通过inject节点调用千帆大模型节点,并将结果输出到debug1。
  • 链路2: 可通过web对话页调用千帆大模型节点,最终将大模型结果输出到对话页面上。
  • 链路3: 可通过开发板调用千帆大模型节点,最终将大模型输出的结果进行语音合成实现端侧播报。

3、配置参数

参数说明:

  • HOST:api.baidubce.com
  • AK(Access Key)/SK(Secret Key):这里使用AK和SK鉴权调用API流程,可前往百度智能云官网创建AK与SK,详情可查看文档 https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Hlwerugt8
  • Model:这里提供ENRIE-3.5-8K/ENRIE-4.0-Turbo-8K-Preview可选择,若要更换其他模型,可自行添加。调用其他模型可根据百度智能云文档来查询调用方法 https://cloud.baidu.com/doc/WENXINWORKSHOP/s/clntwmv7t
  • Stream:是否流式返回

4、部署验证

在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用千帆大模型

  • 部署成功后关闭当前编排服务

  • 重启应用

  • 测试接口

重启应用后,再次点开【编排应用】,点击时间戳(注入节点),会触发一次千帆大模型子流程调用,标记2的红框中输出类似日志即代表成功建立链接

  • 打开web验证页面

回到【我的应用】,双击聆思CSK6_千帆大模型应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。

  • 访问web验证页面链接,打开的web页即可千帆大模型对话

大模型开发板接入千帆大模型

云端接入千帆大模型成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了千帆大模型的云端服务跟指定开发板绑定。

1、创建产品

产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

2、云端应用和云端产品信息绑定

配置你需要调用的大模型应用,完成配置后,用户即可体验千帆大模型与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。

3、云端应用设备列表加入硬件设备ID

读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。

读取方式:

cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(cskburn桌面烧录工具 | 聆思文档中心)打开软件后

1.点击串口下拉框,选择连接开发套件后识别到的串口编号;

2.点击获取信息

3.得到设备ID

加入设备列表

聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

4、云端应用设备列表加入硬件设备ID

4.1、读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互,读取方式:

1.打开cskburn desktop,点击串口下拉框;

2.选择连接开发套件后识别到的串口编号,点击获取信息;

3.得到设备ID

这里需要安装cskburn desktop,这是是一款聆思推出的桌面工具,下载地址:https://docs2.listenai.com/x/oo2_KzYFd

4.2、加入设备列表

a、在【我的应用】的【智能硬件】栏选择自建的【豆包1.6】,按序号依次打开后,选择【导入设备ID】

b、在弹出的界面选择【文本导入】,写入开发板的设备ID,然后点击【导入】即可。

注:开发板ID信息参考下一步读取设备ID部分内容获得

4.3、CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。

#### 配置方式:

1、先在聆思平台打开已经配置好的产品,展示出右侧的接入二维码:

2、然后开发板的首页下滑调出菜单点击设置图标再点击应用切换到应用信息查看页:

3、点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_idsecret_id是否已更新:

注:屏幕亮度和反光会影响扫码识别,可以把二维码的网页放大200%以上再扫码。

  • 语音交互

小聆小聆唤醒,并提问你是谁,语音回复正确身份即验证成功至此,可以确认千帆大模型接入成功。

大模型语音交互接入百度MCP搜索服务方法

1在百度智能获取appAPI Key

百度智能云千帆平台点击左侧的API Key前往创建appAPI Key,选择允许权限后点击创建创建APP Key复制密钥记得确保右上角的对应应用调用权限勾选的

2创建MCP

选择你的应用,打开应用配置,点击添加服务器

填入服务器名称(自定义),服务标志(自定义),类型选择sse(如图),URL填http://appbuilder.baidu.com/v2/ai_search/mcp/sse?api_key={刚刚复制的密钥},点击测试,当弹出服务器验证成功即可。

3测试小聆ai是否成功接入百度搜索MCP

与开发板的小聆ai对话,对话后如图点击请求数据选项,点击打开对应的请求数据,点击右侧的JSON选项查看JSON格式数据

如下图所示,下滑查看返回的数据出现了baidu_search_AIsearchtag即为百度搜索MCP服务的调用

更多参考资料:

本文使用硬件CSK6大模型开发板硬件详细资料可以这个地址获得https://docs2.listenai.com/x/nTn9kMMCU

开发板搭载小聆AI不仅支持自定义接入各家大模型支持自定义AI人设情感发音人声音复刻声纹识别联网搜索小程序查看对话记录管理用户画像开发实现方法参考https://docs2.listenai.com/x/S_TEd8h7C

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐