(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211534290.9 (22)申请日 2022.12.02 (71)申请人 世优 （北京） 科技有限公司 地址 100020 北京市朝阳区日坛北路17号 院2号楼4层4017 (72)发明人 纪智辉　王新国　 (74)专利代理 机构 广东信达律师事务所 4 4801 专利代理师 宋晓云 (51)Int.Cl. G06F 3/01(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 13/40(2011.01) G06T 15/00(2011.01) G01C 21/16(2006.01)G01C 21/20(2006.01) (54)发明名称 基于神经网络的动捕数据处理方法、 装置及 系统 (57)摘要 本申请公开了一种基于神经网络的动捕数 据处理方法、 装置及系统。 其中， 该方法包括： 利 用动捕装置上的惯性传感器获取动捕数据； 利用 卷积神经网络从所述动捕数据中提取数据特征， 并对所述数据特征进行降维处理， 得到降维后的 特征矩阵； 利用长短期记忆网络对降维后的所述 特征矩阵进行序列预测， 以对所述动捕数据进行 误差补偿 。 本申请解决了由于惯 性传感器采集动 捕数据存在误差造成的基于动捕数据渲染的三 维模型动作不逼真的技 术问题。 权利要求书2页 说明书9页 附图3页 CN 115543096 A 2022.12.30 CN 115543096 A 1.一种基于神经网络的动捕数据处 理方法， 其特 征在于， 包括： 利用动捕装置上的惯性传感器获取动捕数据； 利用卷积神经网络从所述动捕数据中提取数据特征， 并对所述数据特征进行降维处 理， 得到降维后的特 征矩阵； 利用长短期记忆网络对降维后的所述特征矩阵进行序列 预测， 以对所述动捕数据进行 误差补偿。 2.根据权利要求1所述的方法， 其特征在于， 在对所述动捕数据进行误差补偿之后， 所 述方法还 包括： 对误差补偿后的所述动捕数据进行快调处理， 其中， 所述快调处理包括： 从所述动捕数 据中获取所述动捕装置的对 象和事件； 动态调整所述对 象的位置并旋转缩放所述对 象； 以 及， 触发预 先已制作的与所述对象或所述事 件相关的动画及特效； 基于快调处 理后的所述动捕数据进行渲染， 生成三维模型。 3.根据权利要求1所述的方法， 其特征在于， 利用长短期记忆网络对降维后的所述特征 矩阵进行序列预测， 以对所述动捕数据进行误差补偿， 包括： 计算所述长短期记 忆网络中每 个神经元的正向传播 参数和反向传播 参数； 基于所述正向传播参数和所述反向传播参数计算所述长短期记忆网络中输出层的误 差项； 基于所述误差项， 对降维后的所述特征矩阵进行序列预测， 以对所述动捕数据进行误 差补偿。 4.根据权利要求3所述的方法， 其特征在于， 基于所述正向传播参数和所述反向传播参 数计算所述长短期记 忆网络中输出层的误差项， 包括： 针对正向传播方向， 基于所述正向传播参数， 以当前时刻为起始点， 计算所述正向传播 方向上所述输出层中相邻两个神经 元之间的误差项； 针对反向传播方向， 基于所述反向传播参数， 以当前时刻为起始点， 计算所述反 向传播 方向上所述输出层中相邻两个神经 元之间的误差项。 5.根据权利要求3所述的方法， 其特征在于， 基于所述误差项， 对降维后的所述特征矩 阵进行序列预测， 包括： 对所述长短期记 忆网络的时间序列进行反向传播和归一 化处理； 利用反向传播和归一化处理后的所述 时间序列， 对所述长短期记忆网络 中的学习率和 权值进行 学习； 基于所述权值、 所述学习率和所述 误差项， 对降维后的所述特 征矩阵进行序列预测。 6.根据权利要求5所述的方法， 其特征在于， 利用反 向传播和归一化处理后的所述 时间 序列， 对所述长短期记 忆网络中的学习率和权值进行 学习， 包括： 基于反向传播和归一 化处理后的所述时间序列， 获取当前时刻和上一时刻； 基于所述上一 时刻与第 一动量指标对应的学习率， 来学习所述当前时刻与 所述第一动 量指标对应的学习率， 其中， 所述第一动量指标是所述上一时刻和所述当前时刻的当前梯 度的指数移动平均值； 基于所述上一 时刻与第 二动量指标对应的学习率， 来学习所述当前时刻与 所述第二动 量指标对应的学习率， 其中， 所述第二动量指标是所述上一时刻和所述当前时刻的平方梯权　利　要　求　书 1/2 页 2 CN 115543096 A 2度的指数移动平均值； 基于所述与第 一动量指标对应的学习率和所述与第 二动量指标对应的学习率， 来学习 所述长短期记 忆网络中的权值。 7.根据权利要求6所述的方法， 其特征在于， 基于所述与第 一动量指标对应的学习率和 所述与第二动量指标对应的学习率， 来学习所述长短期记 忆网络中的权值， 包括： 基于所述与第 一动量指标对应的学习率和第 一指数衰减率， 来对所述当前梯度的指数 移动平均值进行缩放； 基于所述与第 二动量指标对应的学习率和第 二指数衰减率， 来对所述平方梯度的指数 移动平均值进行缩放； 基与缩放后的所述当前梯度的指数移动平均值、 所述平方梯度的指数移动平均值、 以 及上一时刻所述长短期记 忆网络的权值， 来学习当前时刻所述长短期记 忆网络中的权值。 8.一种基于神经网络的动捕数据处 理装置， 其特 征在于， 包括： 获取模块， 被 配置为利用动捕装置上的惯性传感器获取动捕数据； 卷积处理模块， 被配置为利用卷积神经网络从所述动捕数据中提取数据特征， 并对所 述数据特 征进行降维处 理， 得到降维后的特 征矩阵； 补偿模块， 被配置为利用长短期记忆网络对降维后的所述特征矩阵进行序列预测， 以 对所述动捕数据进行误差补偿。 9.一种基于神经网络的动捕数据处 理系统， 其特 征在于， 包括： 动捕装置， 被 配置为采集所述动捕数据； 如权利要求8所述的动捕数据处 理装置， 被 配置为对所述动捕数据进行误差补偿处 理。 10.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 在所述程序运行时， 使得 计算机执 行如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115543096 A 3