AI 实战课 · 共 12 节

从零打造 AI 应用:完整实战课程

一休AI实验室 4.5 小时 最近更新 2026-11-19
课程目录位置
第 8/12 节

多模态能力实战

◷ 22:10 ◉ 4.6万次观看 ◈ 更新于 2026-11-19 #AI工具#多模态
本节 AI 摘要

让应用既能看图也能听声。本节实战图片识别、语音转写与图文混合输入,做一个能读懂截图并回答问题的助手。

多模态就是让模型同时理解文字、图片甚至声音。这节我们把看图能力接进应用。

💡
能做什么

识别截图里的文字、描述图片内容、解读图表数据、读取手写笔记——这些都是多模态的典型场景。

一、图片输入

选择支持视觉的模型,把图片编码后随问题一起发送。多数平台在 API 层直接支持图片 URL 或 Base64。

上传界面截图,让模型说明这是什么、怎么操作,适合做教程助手。

上传数据图表,让模型读出趋势和关键数值,适合做数据分析辅助。

二、语音能力

语音转写准确率不高怎么办›

选用专用的语音转写模型而非通用多模态模型,并在提示词里提供领域词表(如专业名词),准确率会明显提升。

三、组合起来

把图片、文字、搜索结果一起喂给模型,就是把前几节的能力叠加。一个能看懂截图、又能联网核实的助手,雏形就出来了。

到这里核心功能都齐了,下一章我们把它打包部署上线。

评论

有疑问、勘误或想聊的,欢迎在下面留言

不填则显示为「匿名访客」
0 / 500