多模态能力实战
◷ 22:10
◉ 4.6万次观看
◈ 更新于 2026-11-19
#AI工具#多模态
本节 AI 摘要
让应用既能看图也能听声。本节实战图片识别、语音转写与图文混合输入,做一个能读懂截图并回答问题的助手。
多模态就是让模型同时理解文字、图片甚至声音。这节我们把看图能力接进应用。
💡
能做什么
识别截图里的文字、描述图片内容、解读图表数据、读取手写笔记——这些都是多模态的典型场景。
一、图片输入
选择支持视觉的模型,把图片编码后随问题一起发送。多数平台在 API 层直接支持图片 URL 或 Base64。
上传界面截图,让模型说明这是什么、怎么操作,适合做教程助手。
上传数据图表,让模型读出趋势和关键数值,适合做数据分析辅助。
二、语音能力
语音转写准确率不高怎么办›
选用专用的语音转写模型而非通用多模态模型,并在提示词里提供领域词表(如专业名词),准确率会明显提升。
三、组合起来
把图片、文字、搜索结果一起喂给模型,就是把前几节的能力叠加。一个能看懂截图、又能联网核实的助手,雏形就出来了。


到这里核心功能都齐了,下一章我们把它打包部署上线。
评论
有疑问、勘误或想聊的,欢迎在下面留言