(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210818378.7 (22)申请日 2022.07.12 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 杨赓　周慧颖　王龙强　吴海腾　 杨华勇　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06F 3/01(2006.01) G06F 30/20(2020.01) (54)发明名称 基于惯性动作捕捉技术的人体运动数字孪 生的构建方法 (57)摘要 本发明公开了一种基于惯性动作捕捉技术 的人体运动数字孪生的构建方法。 首先将动作 捕 捉设备穿戴于人体， 并采集各关节对应传感器的 原始传感数据， 利用自适应扩展卡尔曼滤波算法 处理原始传感数据， 获得各关节对应传感器的姿 态， 并将原始传感数据和传感器姿态数据发送给 上位机； 上位机根据人体骨架， 构建人体运动数 字孪生模型； 利用人体姿态校准方法计算获得各 个关节的姿态校准矩阵， 并对实时的传感器姿态 数据进行校准， 获得人体各关节的姿态， 驱动人 体运动数字孪生模型； 在驱动模型的同时， 比较 解算的关节 参数与人体关节参数阈值， 动态更新 演化模型。 本发 明能够实现人体运动数字孪生模 型同步映射 真实人体运动， 实时动态演化更新模 型。 权利要求书4页 说明书13页 附图2页 CN 115373511 A 2022.11.22 CN 115373511 A 1.一种基于惯性动作捕捉技术的人体运动数字孪生的构建方法， 其特征在于， 包括以 下步骤： 1)将多节点惯性动作捕捉设备穿戴于人体并利用多节点惯性动作捕捉设备采集人体 各个关节对应传感器的原始传感数据， 利用自适应扩展卡尔曼滤波算法对 各个关节对应传 感器的原始传感数据进行处理后， 获得人体各个关节对应传感器的传感器姿态， 将各个关 节对应传感器的原始传感数据和对应的传感器姿态作为各个关节的传感数据并无线发送 给上位机； 2)根据各个关节的传感数据、 多节点惯性动作捕捉设备的安装位置和人体的骨架结 构， 上位机进 行人体运动数字孪生模型的构建； 基于各个关节的传感数据， 再利用人体姿态 校准方法计算获得各个关节的姿态校准矩阵， 接着利用各个关节的姿态 校准矩阵对对应关 节的传感器姿态进 行关节校准， 获得各个 关节的姿态， 由各个关节的姿态组成人体姿态， 最 后根据人体姿态驱动上位机中的人体运动数字 孪生模型； 3)多节点惯性动作捕捉设备实时采集并向上位机发送各个关节的实时传感数据， 根据 各个关节的实时姿态校准矩阵和实时传感数据计算人体关节参数， 将关节参数与对应的参 数阈值进行比较， 根据比较结果迭代演化人体运动数字孪生模型， 实现人体运动数字孪生 模型的动态更新。 2.根据权利要求1所述的一种基于惯性动作捕捉技术的人体运动数字孪生的构建方 法， 其特征在于， 所述步骤1)中， 多节点惯 性动作捕捉设备中每个子节点的传感器采集人体 关节对应传感器的角速度、 加速度和磁场强度， 由角速度、 加速度和磁场强度组成当前关节 对应传感器的原 始传感数据。 3.根据权利要求1所述的一种基于惯性动作捕捉技术的人体运动数字孪生的构建方 法， 其特征在于， 所述步骤1)中， 利用自适应扩展卡尔曼滤波算法对 各个关节对应传感器的 原始传感数据进行处 理后， 获得 人体各个关节的传感器姿态， 具体为： S1： 根据每个关节对应传感器的原始传感数据确定加速度 ‑磁场强度参数， 基于当前关 节的加速度 ‑磁场强度参数构建地理坐标系与当前关节的传感器坐标系之 间的误差函数和 代价函数， 利用高斯 ‑牛顿算法对当前关节的误差函数和代价函数进行求解后 获得地理坐 标系和当前关节的传感器坐标系之 间的姿态四元数， 并将地理坐标系和当前关节对应的传 感器坐标系之间的姿态四元 数作为当前关节对应的传感器初始姿态； S2： 将当前关节对应的传感器初始姿态与角速度作为自适应扩展卡尔曼滤波器的状态 量并进行解 算， 获得当前关节对应的传感器滤波 姿态； S3： 计算当前关节在当前时刻对应的传感器滤波姿态与其前一 时刻的传感器滤波姿态 之间的距离， 以及当前关节在当前时刻对应的传感器滤波姿态的相反数与其前一时刻的传 感器滤波姿态之间的距离， 将两个距离中最小的距离对应的传感器滤波姿态作为当前关节 在当前时刻的传感器姿态。 S4： 重复S1 ‑S3， 对剩余关节的原始传感数据进行处理， 获得人体各个关节的传感器姿 态。 4.根据权利要求3所述的一种基于惯性动作捕捉技术的人体运动数字孪生的构建方 法， 其特征在于， 所述自适应扩展卡尔曼滤波器是通过对扩展卡尔曼滤波算法中量测噪声 均值和量测噪声方差阵进行改进获得， 引入遗忘因子和遗忘因子加权系 数， 动态更新量测权　利　要　求　书 1/4 页 2 CN 115373511 A 2噪声， 量测噪声均值和量测噪声方差阵的公式如下： 其中， I表示 单位矩阵， 表示第k个离散时间的量测噪声均值估 计值， 表示第k个离散 时间量测噪声均值的遗忘因子加权系数， 表示第k‑1个离散时间量测噪声均值的遗忘因 子加权系数， 表示量测噪声均值的遗忘因子加权系数的初始值， 表示第k‑1个离散时 间的量测噪声均值估计值， Zk表示第k个离散时间的离散化的扩展卡尔曼滤波观测量， 表示扩展卡尔曼滤波中的状态预测值， H表示扩展卡尔曼滤波中量测阵， 表示第k个离散 时间的量测噪声方差阵估计值， 表示第k‑1个离散时间的量测噪声方差阵估计值， 表 示第k个离散时间量测噪声方差阵的遗忘因子加权系数， 表示第k‑1个离散时间量测噪 声方差阵的遗忘因子加权系数， 表示量测噪声方差阵的遗忘因子加权系数的初始值， ek‑i 和ek分别表示扩展卡尔曼滤波中第k ‑1个离散时间、 第k个离散时间的量测 估计误差， Pk/k‑1 表示扩展卡尔曼滤波中根据第k ‑1个离散时间的估计均方误差推算的第k个离散时间的一 步预测均方误差， b表 示遗忘因子， N表示离散的时间长度， T表 示矩阵转置， e表 示自然常数， Tr()表示矩阵的迹， c1、 c2、 c3表示第一、 第二、 第三系数， | |表示绝对值运算。 5.根据权利要求1所述的一种基于惯性动作捕捉技术的人体运动数字孪生的构建方 法， 其特征在于， 所述步骤2)中， 利用人体姿态校准方法计算获得各个关节的姿态校准矩 阵， 具体为： 首先， 多节点惯性动作捕捉设备采集人体处于三种校准姿势下的传感数据， 再根据三 种校准姿势下的传感数据计算各个关节对应的初始姿态校准矩阵， 接着利用各个关节的初 始姿态校准矩阵对对应 关节的传感器姿态进 行关节校准， 获得各个关节的姿态； 最后， 根据 三种校准姿势的属 性和各个关节的姿态， 对各个关节对应的初始姿态校准矩阵进行校正， 获得各个关节对应的姿态校准矩阵。 6.根据权利要求5所述的一种基于惯性动作捕捉技术的人体运动数字孪生的构建方 法， 其特征在于， 所述各个关节对应的初始姿态校准矩阵均由身体坐标系的X轴向量、 Y轴向 量和Z轴向量组成， 其中X轴向量的计算公式如下： X′BCS＝[acc′x acc′y acc′z] Y轴向量的计算公式如下： Y″BCS＝PCA([gyr ′x,gyr′y,gyr′z]) 权　利　要　求　书 2/4 页 3 CN 115373511 A 3