支持矩阵
按当前代码中的适配器和能力白名单整理。这里的“支持”表示已接入,不代表所有模型、设备和平台组合都通过了实机验收。
语音管线
| 能力 | 集成管线 Integrated | 级联管线 Cascaded |
|---|---|---|
| 处理方式 | 一个实时模型直接处理语音 | 语音识别 → 语言模型 → 语音合成 |
| 默认组合 | Qwen qwen-audio-3.0-realtime-plus |
火山 ASR → DeepSeek deepseek-flash → 火山 TTS |
| 语音打断 | 已接入 | 已接入 |
| 编码任务、搜索和记忆工具 | 根据已启用能力提供 | 根据已启用能力提供 |
| 对话中的摄像头画面 | 不支持 | 仅支持下表列出的视觉模型,默认关闭 |
| Loop Camera 独立监控 | 支持,另用监控视觉模型 | 支持,另用监控视觉模型 |
| iPhone 文字输入 | 不提供可编辑输入 | 主机支持可编辑输入时可用 |
选择集成管线时配置较少;需要更换语言模型或开启对话视觉时,使用级联管线。两者都需要相应模型服务的凭据。
级联语言模型
| 服务商 | 默认模型 | 对话视觉 | 凭据 |
|---|---|---|---|
| DeepSeek | deepseek-flash |
当前 Nova 适配器不开放 | DEEPSEEK_API_KEY |
| Qwen / 百炼 | qwen-plus |
默认模型不支持;可换用下列 Qwen 视觉模型 | DASHSCOPE_API_KEY |
| 火山方舟 Ark | doubao-seed-2-0-pro-260215 |
支持 | ARK_API_KEY |
可覆盖模型名称,但填写一个自定义名称不会自动获得图像能力。模型本身能否看图,与 Nova 是否已为它接通图像输入,是两件事。工具调用也需所选模型兼容当前适配器的结构化工具协议。
视觉模型
| 服务商 | Nova 当前识别的模型 |
|---|---|
| Qwen / 百炼 | qwen3-vl-plus、qwen3-vl-flash、qwen-vl-max、qwen-vl-plus |
| 火山方舟 Ark | doubao-seed-2-0-pro-260215 |
对话视觉使用当前级联语言模型;Loop Camera 使用独立的监控模型连接。因此前台用纯音频模型或 DeepSeek 对话时,仍可由单独的视觉模型执行监控。未知模型不会自动降级到其他模型。
语音识别与合成
| 阶段 | 当前适配器 | 默认资源 / 音色 |
|---|---|---|
| 识别 ASR | 火山语音 | volc.seedasr.sauc.duration |
| 合成 TTS | 火山语音 | seed-tts-2.0 / zh_female_vv_uranus_bigtts |
| 集成语音音色 | Qwen 实时语音 | longanqian |
火山 ASR 优先使用 DOUBAO_ASR_API_KEY,未配置时使用 DOUBAO_BIGMODEL_API_KEY;TTS 使用后者。辅助模型与个人记忆可能仍需要百炼凭据,详见核心配置。