基于PYNQ-Z2硬件优化的人体姿态识别系统 (合作企业:华为技术)

2021-06-28

       本项目为基于PYNQ-Z2实现实时人体姿态识别,最终用硬件搭载人体姿态识别系统来作为展示。

       本项目的人体姿态识别系统设计的工作由神经网络优化、FPGA加速两部分组成。

      该系统设计由神经网络架构搜索(NAS)作为出发点,在可微分搜索(DARTS)的基础上进行网络搜索,优化了可微分架构中原有的不均衡情况,再针对人体关键点编写实时摄像头输入人体关键点识别代码。搜索出来的网络被重新编译来适配PYNQ-Z2中的FPGA模块,进而调用硬件计算资源来进行提速,同时对硬件加速器处理来完成加速优化,以达到硬件实现人体姿态识别。

       最终完成了通过基于PYNQ-Z2的实时人体姿态识别,并在电脑平台上对其进行了性能测试。根据测试结果,此系统的识别准确率与传统的姿态识别准确率相比保持一致的情况下,此系统的识别时间延迟对比传统的姿态识别系统的识别时间延迟已经降低37%。

       接下来的工作将进一步优化神经网络以及优化硬件加速器,从而在降低系统延迟的同时尽可能的提高准确率。