随着端侧AI算力不断提升，现在的体感游戏，直接用摄像头采集人体的动作通过姿态识别转换实时控制的指令，映射到游戏画面的角色交互中，身体动作就是手柄，还有在智能家居中，中控屏识别姿态数据直接控制灯光，空调，电视，窗帘等智能终端，这类应用需要端侧AI大算力、视觉姿态识别算法、图形显示和物联网控制几个环节的协同，现在定昌电子用此芯的端侧AI主板DC_ENP1，结合USB摄像头和MediaPipe Pose人体姿态算法，提取左右手腕、肩部、髋部以及身体左右位置等信息，已经跑通体感游戏和智能家居控制的体感视觉交互应用，下面简单解析一下这个方案。
本次的体感交互方案是基于视觉的姿态识别，直接利用USB摄像头完成视频输入，通过CameraX获取预览画面，再将320×240图像送入MediaPipe Pose进行人体姿态分析。MediaPipe Pose可以输出人体33个关键点，应用重点关注左右手腕、肩部、髋部以及身体中心位置等信息。例如身体向左移动可以对应角色向左闪避，右手抬起可以对应挥拍，手臂停留在某个区域则可以对应菜单选择。
整个交互过程无需手柄或触屏操作，用户左右移动身体即可切换菜单卡片，在目标位置停留约1秒即可进入对应功能；游戏结束后，举手停留在“再来一局”或“回主菜单”等区域即可完成选择，全屏按钮也支持通过手势控制，可在摄像头预览、分屏游戏和全屏沉浸模式之间快速切换。
<h2>核心源码分析</h2><h2>方案展示</h2>
这套方案已经在板端上实际运行画面：屏幕一侧实时显示摄像头画面和人体骨架，另一侧则根据人体动作同步响应，既可以驱动跑酷、网球、篮球等体感游戏，也可以切换到智能家居模式，通过动作控制灯光、空调、窗帘等设备，让同一套视觉交互能力同时连接娱乐和家居应用。
实时视觉交互，主控需要高CPU性能（尽量2.0GHz主频以上），还有高算力NPU。此次的DC-ENP1主板方案采用CIX CD8180处理器，采用64位Armv9.2架构，配置12核CPU，由4个A720大核、4个A720中核和4个A520小核组成，共享12MB三级缓存，最高频率可达2.6GHz。
AI计算部分CD8180集成最高30 TOPS NPU，GPU是Immortalis-G720 MC10，NPU与GPU综合算力可达45 TOPS，快速流畅的跑视觉模型。本次案例USB 相机稳定出图，GPU参与推理，常见情况下单帧处理可以做到二十多毫秒级，为体感应用提供较低的交互延迟。
<h2>丰富接口扩展</h2>
实际体感交互项目开发还需要同时解决摄像头接入、高清显示、音频、网络通信、存储扩展以及外设控制等问题，DC-ENP1此芯主板的丰富接口资源可以覆盖这些环节：
7个USB接口用于接入USB摄像头、麦克风、手柄等外设。例如通过USB UVC摄像头采集人体动作，再结合MediaPipe Pose完成姿态识别，还有音频设备，还支持HDMI、DP以及Type-C DP接口则可以连接大尺寸4K显示屏、电视或互动一体屏等，DP和Type-C DP支持@120Hz高刷新率显示需求。
在网络方面，带双2.5G以太网接口，Mini PCIe拓展4G，还有M.2 E-Key可以扩展Wi-Fi、蓝牙，用于无线连接智能灯具、音箱等设备。对于体感游戏来说，带麦克风输入和音频输出用于游戏音效、语音提示以及语音控制；M.2 M-Key接口可扩展SSD，用于本地存储数据。此外，还有7路串口、多路GPIO、I2C、RS485、RS232等接口连接灯光、电机、继电器、指示灯、触摸屏等外设
从产品开发角度来看，此芯端侧AI主板DC-ENP1高算力硬件，提供了“摄像头输入 + AI算法 + 图形应用 + 物联网控制”的组合能力。实际项目中，适用于：
l 展会/开放日互动终端：体感游戏吸引用户参与，客户举手就能玩，或者智能家居挥手演示关灯、开窗帘等功能演示，比循环广告更留得住人。
l 科技馆与校园：通过人体骨架实时可视化，让AI识别过程更加直观。
l 智能家居与酒店：利用手势完成灯光、窗帘、空调等设备控制，挥手晚安、离家等，不用找遥控器。
l 零售与样板间：虚拟互动留客，将体感互动与场景展示结合，减少传统触屏操作。
l 方案验证：需要同时验证视觉AI、显示交互和MQTT物联网控制链路的方案。
A5创业网 版权所有