2020-06-12
项目成员：韦青茂
指导老师：郝祁 教授
本项目设计了一个基于嵌入式平台的，使用单目摄像头进行实时多人人体重建系统。本项目设计的平台由嵌入式计算模块和单目RGB摄像头两个部分组成。 单目RGB摄像头将环境的RGB图像输入嵌入式计算模块(NVIDIA® Jetson TX2)里，计算模块调用独立的图像解码器对图像进行解码。
计算模块同时运行着3个针对模块性能进行优化过的神经网络，分别是：
1.人体检测网络（ResNet18）
2.景深估计网络（MobileNetV2+NNConv5）
3.三维姿态映射网络
三个网络的后端骨干网络均为轻量化网络，经过剪枝，并且使用神经网络优化工具（TensorRT）进行预编译，使其在嵌入式设备上的推理速度达到实时效果。
本项目完成了整个人体重建系统的三维姿态估计部分，并对其进行性能测试。根据测试结果，该系统在单人场景下的推理速度达到了11FPS，两人情况下达到了9FPS，三人情况下达到了8FPS；整个系统的功耗保持在10W以内。 接下来的工作是将得到的人体三维关键点绑定到人体模型上，使其具备更好的实用性。
