simon-willison
引用 Luke Curley
Quoting Luke Curley
摘要
Luke Curley 回应 OpenAI 低延迟语音 AI 文章,指出 WebRTC 为满足 real-time latency 会在网络不佳时丢弃 audio packets,浏览器内无法重传,Discord 曾尝试;该机制可能导致语音 prompt 失真并影响 LLM response。
WebRTC 被设计成在网络状况不佳时降级并丢弃我的 prompt。搞什么啊兄弟,WebRTC 会激进地丢弃 audio packets 来保持低 latency。如果你曾在电话会议中听到失真的音频,那就是 WebRTC,朋友。其思路是,电话会议依赖快速来回交流,所以停下来等待音频是不可接受的。……但作为用户,我宁愿多等 200ms,也希望我这个又慢又贵的 prompt 是准确的。毕竟,我花了不少钱来“煮沸海洋”,而垃圾 prompt 意味着垃圾 response。更何况 LLMs 本来也谈不上特别 responsive。但我不被允许等待。在浏览器内甚至不可能重传一个 WebRTC audio packet;我们在 Discord 试过。实现被硬编码为必须满足 real-time latency,否则就不行。— Luke Curley,《OpenAI’s WebRTC Problem》,回应《How OpenAI delivers low-latency voice AI at scale》 标签:webrtc,openai
译自 simon-willison · 录于 二〇二六年五月九日