• 项目介绍
• 姿态估计
• 姿态匹配算法

AIstudio 地址: https://aistudio.baidu.com/aistudio/projectdetail/4596672
b站视频链接：https://www.bilibili.com/video/BV1am4y1f7c2/

项目中使用PyQT5设计了一款简单的交互界面，左侧显示原舞蹈视频, 右侧显示摄像头，这里本人用的是笔记本内置摄像头，小伙伴们可以换其他摄像头或投影仪，可能体验更好。

本项目可运行在windows, Linux操作系统，基于CPU也能很流畅的玩耍。

项目介绍

基于之前本人的项目如果感到快乐你就跳跳舞 进行升级迭代开发。项目通过比较在音乐鼓点时姿态的相似度进行计分统计，有较强的互动娱乐性，特别是对于作者这种老肥宅的程序员有很不错的减脂效果。欢迎大家尝试体验！

本次项目主要升级点：

• 采用了最新的更轻量级的PP-TinyPose升级版， 姿态点相对以前稳定性提升不少
• 使用了更轻量级的Picodet行人检测模型，推理性能超实时
• 在Intel Nuc硬件上基于OpenVino加速推理框架，性能非常惊艳
• 移植了sort跟踪算法，在这种简单场景下已足够支持几个人的跟踪
• 每次游戏结束还会通过PPLCNet提取行人特征，可简单大致查找选手之前的分数，要做到更精确识别需要进行人脸识别
• 选手在镜头前举手动作持续5秒可自动开始或结束当前游戏
• 同时为了提升体验，增加了音效和背景

姿态估计

因人机交互对模型推理的高实时性要求，调研过多个模型之后， 最终选型采用的是PaddleDetection开源的PicoDet-S-Pedestrian以及PP-TinyPose， 模型推理时间单帧20ms左右，速度和效果都能满足要求。

PP-TinyPose是PaddleDetecion针对移动端设备优化的实时姿态检测模型，可流畅地在移动端设备上执行多人姿态估计任务。借助PaddleDetecion自研的优秀轻量级检测模型PicoDet,我们同时提供了特色的轻量级垂类行人检测模型。

PP-TinyPose 链接: https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.3/configs/keypoint/tiny_pose

姿态匹配算法

人体姿态估计完成后，将实时摄像头的姿态同参考舞蹈视频进行对比。实践中二者动作时间上比较难以同步，这里做了简单的处理，可接受在鼓点前后不超过10帧范围内。

实际比较的是人体左侧和右侧相关骨骼连接线，特别是对连接线的夹角做了对比，在15度范围内都认定是相似的。

当前这种匹配算法非常粗糙，需要进一步做很多优化，尤其是相似度判断方面，后期采用关键点Graph的方式可能效果更好。