SAI Agent
可私有化的 AI 实时对话引擎
基于 SRTC 的 AI 实时语音/视频对话引擎，可插拔对接任意 ASR/LLM/TTS 服务商与实时语音大模型，支持国产大模型私有化部署，秒级响应、可随时打断，支持 SIP 电话呼入呼出，构建智能客服、AI 外呼、AI 面试、远程问诊等场景。
SAI Agent 是基于 SRTC 的 AI 实时对话引擎：AI 以服务端身份加入 SRTC 频道，与 Web、App、小程序里的真人实时语音对话。它的底层是已公开发布在 PyPI 的 SRTC Python SDK（pip install srtc），内置 pipecat transport，可接任意 ASR / LLM / TTS 组合，也可直连 Gemini Live、OpenAI Realtime、通义千问 Omni、豆包等实时语音大模型，秒级响应、可随时打断。通过会议室连接器的 SIP 接入，Agent 还能接听和拨打电话，用于智能电话客服与 AI 外呼。媒体服务与模型都可以部署在企业内网，对话数据不出企业。
规格一览
| 项目 | 说明 |
|---|---|
| 底层 SDK | SRTC Python SDK：pip install srtc；pipecat 集成：pip install "srtc[pipecat]" |
| 模型接入 | 级联：任意 ASR → LLM → TTS；端到端：Gemini Live / OpenAI Realtime / 通义千问 Omni / 豆包 |
| 接入方式 | Agent 以服务端身份加入 SRTC 频道，与各端用户同频道通话 |
| 音频 | 收：按说话人逐帧 PCM；发：任意采样率 PCM，SDK 内部重采样与控速 |
| 插话打断 | 用户插话时立即清空未播放音频 |
| AI 响应 | 秒级，可随时打断 |
| 媒体延迟 | 端到端 <400ms（不含模型推理耗时） |
| 电话接入 | 经会议室连接器 SIP 接入，支持电话呼入呼出、AI 外呼 |
| 部署方式 | 私有化部署：SRTC 服务、Agent 进程与私有化模型均可部署在内网 |
可插拔的 AI Pipeline 架构
# pip install "srtc[pipecat]"
from pipecat.pipeline.pipeline import Pipeline
from pipecat.pipeline.runner import PipelineRunner
from pipecat.pipeline.task import PipelineTask
from srtc.pipecat_transport import SRTCParams, SRTCTransport
# token 由你的服务端签发；stt / llm / tts 换成任意 pipecat 服务
transport = SRTCTransport(
token,
SRTCParams(audio_in_enabled=True, audio_out_enabled=True),
)
pipeline = Pipeline([
transport.input(),
stt,
context_aggregator.user(),
llm,
tts,
transport.output(),
context_aggregator.assistant(),
])
await PipelineRunner().run(PipelineTask(pipeline))核心功能
实时语音对话
基于 SRTC 的超低延迟音频通道，秒级响应，按说话人逐帧收音，支持智能打断和连续对话。
视频多模态交互
Agent 可接收用户视频帧（可解码为 RGB 图像），交给多模态大模型做图像识别、视频理解。
可插拔架构
自由组合 ASR / LLM / TTS 服务商，或直接换成实时语音大模型，一套代码适配不同场景和预算。
pipecat 集成
SDK 内置 pipecat transport，把示例里的 Daily / LiveKit transport 换成 SRTCTransport 即可，管线其余部分不用改。
SIP 电话呼入呼出
通过会议室连接器 SIP 接入传统电话线路，实现智能电话客服、AI 外呼等场景。
对话分析
对话录音、转写记录、情感分析、服务质量评分，用于质检与持续优化。
私有化部署
全栈部署在企业内网，AI 对话数据不出企业，满足政企数据安全合规要求。
多语言支持
支持中文、英文、中英混合等多语言语音识别与合成（取决于所选模型），适用于跨国业务场景。
在你自己的环境里跑起来
全离线部署
- 媒体服务器、Agent 进程、ASR / LLM / TTS 模型都可以装在企业内网，对话音频和文字不出内网
- LLM 走 OpenAI 兼容接口，可直接换成内网部署的开源模型（如用 vLLM 部署的 Qwen 系列）
- 与 SRTC 其它组件一起走现有的私有化安装流程，支持 x86 与 ARM、信创环境
电话 AI（实测）
- 标准 SIP 线路直接接入：运营商 SIP Trunk 或已有的 IP-PBX，按被叫号码路由到不同的 AI
- 每通电话一个独立频道，拨通即对话，接听后约 0.3 秒开口
- 支持按键（RFC 4733 / SIP INFO）：从网关到 AI 约 4 毫秒，可做菜单与转人工
- 对方说再见时 AI 道别并自动挂断；免提回声不会把 AI 打断
应用场景
AI 智能客服
电话客服 | 在线客服 | 语音导航
7x24 小时智能语音客服，支持 SIP 电话呼入，自动应答和转人工。
AI 面试官
校招面试 | 初筛 | 技能评估
基于大模型的 AI 面试系统，支持多轮追问、实时评分和面试报告生成。
AI 医疗问诊
智能分诊 | 健康咨询 | 用药指导
支持私有化部署的 AI 问诊助手，保护患者隐私，辅助医生提高诊疗效率。
智能 AI 数字人
AI 数字人 | 虚拟形象 | 实时驱动
以 LLM + TTS 实时驱动数字人，可用于虚拟主播、数字员工、品牌代言等场景。