多模态交互落地：语音+手势+图像，网页输入框的终局

网页输入这件事，从表单时代到聊天框时代，本质上都没离开键盘。但真实世界的任务从来不只有一条输入通道：人会一边指着设备一边说话，会把照片直接递到你眼前。多模态交互要回答的，就是这些通道如何在浏览器里成立，以及它们会把那个万事万物的输入框带向什么终局。

先看语音这条线，它已经相对成熟。Web Audio承接采集，端侧的小尺寸语音识别模型配合WebGPU推理，转写可以完全不出设备；难点其实在模型之外的交互设计：流式部分结果如何上屏，用户说“呃，不对，删掉刚才那句”时的修改指令怎么识别，以及在嘈杂环境里如何优雅地降级。语音不是把键盘输入念一遍，它需要一套为“说”设计的输入控件。

手势是三条线里最容易被高估的。摄像头的媒体流配合轻量级的手势与姿态检测模型，技术上做出Demo不难，难的是误触率：用户挠个头、伸个懒腰，页面就翻页，三秒内就会被关掉。工程上的共识是把手势定位为“修饰符”而不是“命令”——握拳表示开始记录，张开手掌表示停止，配合语音下达具体内容。单独靠手势指挥界面的方案，在办公环境里几乎全军覆没，这条结论值得抄近路的团队记住。

图像通道的性价比反而最高，因为它甚至不需要新硬件：粘贴、拖拽、文件选择器，再叠一个端侧或云端的视觉理解模型，“拍张表单自动填报”“截图直接提问”这类能力的用户教育成本几乎为零。值得注意的是隐私边界：摄像头默认关闭、处理时页面角落常驻指示灯、能用端侧解决的绝不上云，这三条做好，用户的接受度会远超预期。

最难的是融合层，多模态不是三路开关的并联。用户指着屏幕上的某条记录说“把这个删掉”，系统必须把话语里的“这个”和那一刻的视觉指向在时间轴上对齐，这在学术上叫指代消解，在产品上决定“它懂我”还是“它答非所问”。可行的架构是给每个输入通道一个统一的事件流，带上时间戳和空间锚点，由一个意图路由层在几百毫秒的窗口里做合并判断。做不来就别硬做多模态，单通道做扎实胜过三通道互相打架。

融合层还藏着一份常被忽略的商业红利：多模态事件本身就是高密度的显式反馈。用户一边说、一边指、一边把照片递过来的那一刻，三种信号在时间轴上的交汇，信息量远胜一次孤立的点击；早期沉淀下来的这批对齐数据，恰恰是后续训练意图路由模型最优质的燃料。换句话说，多模态交互的投入不是一次性的体验成本，它同时是一条别人拿不走的数据飞轮——越早点亮这三条通道的产品，越早在下一轮模型迭代里握有自己的私有语料。

最后说终局判断：输入框不会消失，但会从“唯一入口”退化为“兜底入口”。语音+手势+图像的组合在特定场景有碾压优势——维修工人戴着手套没法打字，语音描述故障加上拍摄照片加一个大拇指手势确认，效率是键盘的五倍；对运动障碍用户，多模态直接就是无障碍本身。所以落地顺序建议：先做带端侧润色的语音输入，再开通图像粘贴理解，手势放最后，等前两者培养了用户的信任，再给它发牌。