i.MX演示示例 - i.MX93与视觉机器学习 (手势识别)
前言
i.MX93是Ethos-U65 NPU在行业中的首次应用。Ethos-U65是一款专用的神经网络处理单元 (NPU)，其完美的平衡了性能和效能的需求关系。进而，使i.MX93可以满足高性能，高能效及高性价比的机器学习应用场景。在工厂生产过程中，有些操作对工作人员手部操作的正确及准确性有着极高的要求。本篇文章我们将针对这一应用场景进行手部姿态识别的演示说明。
硬件及软件测试环境
l MX93 EVK
l USB 摄像头
l HDMI 显示器
l BSP 版本：LF6.1.36 预编译镜像
l 模型：palm_detection & hand_landmark_3d_256
应用场景说明
在工厂生产过程中，操作人员手部动作姿态的完整性，正确性及准确性对最终产品的良品率有着极大的影响。针对这一使用需求，我们可以通过使用i.MX93+NPU+摄像头将机器学习与工厂自动化有机地结合起来，搭建出一套对操作人员手部动作及姿态识别的解决方案。
图一可以看到机器学习模型在i.MX93中的NPU上运行，实时检测手部动作，并将双手每个手指关节动作标识在HDMI显示器的实时画面上。从而，满足工厂自动化中识别手部动作及姿态的应用要求。客户可以根据实际使用需求进一步的开发，将识别到的手部姿态与数据库中标准的姿态进行对比。进而，验证操作人员手部操作姿态的正确性及准确性。最终，满足工厂自动化中自动，准确并快捷的手势验证需求。
图一：准备动作-手掌展平
之前的图一为操作人员手部的准备动作。在准备完成后，我们将需要使用特定器具将物料平整的铺在操作台上。这时，我们可以看到i.MX93可以正确并准确的识别到 ’食指向前压住器具‘及’拇指和中指配合捏住器具‘的动作（见图二）。同时，我们也可以看到双手不同动作姿态均被完整并正确的抓取。
图二：手握器具从平面划过
在物料平铺在台面之后，如果操作人员缺少捏起物料的动作，会导致最终产品的良品率大幅下降。这时，我们便可以加入捏起姿态的手势识别（见图三）。图中可见，i.MX93可以完整并正确的抓取我们使用拇指和食指配合将特定物料捏起的手部姿态。
图三：捏取动作-多手指弯曲
在操作人员完整并正确的完成一系列操作之后，来到了最终的验证环节。操作人员可以通过竖起大拇指的动作标识其已经完成全部动作。图四中我们可以看到，i.MX93可以完整并正确的同时识别双手同时大幅度不同曲度及方向的弯曲动作。
图四：完成动作-‘大拇指’ 手势