中国专利搜索 世界专利搜索 专利分类查询 专利引用检索 专利族检索
登陆 | |

增强现实环境下控制手势识别方法与系统
有权
阅读公开文献

申请号:201711100432.X 申请日:2017-11-09
CN201711100432
CN107894834B
微信扫码查看/分享专利
摘要:本发明提供了一种增强现实环境下控制手势识别方法,包含以下步骤:数据获取步骤:根据通过深度摄像头跟踪获取人手部的深度数据,计算手部关键点的三维坐标,来获取手部关键点的运动特征序列;神经网络处理步骤:对手部关键点的运动特征序列进行跟踪与识别,获得手势的特征序列;手势识别步骤:根据手势的特征序列,获得手势识别结果。相应地,本发明还提供了一种增强现实环境下控制手势识别系统。本发明可以对手势进行准确并快速的识别,减少了资源占用,提高了鲁棒性和实时性。
Abstract: The invention provides a method for identifying control gestures in an augmented reality environment. The method comprises the following steps that data is obtained; depth data of human hands is obtained through tracking of a depth camera, and three-dimensional coordinates of key points of the hands are calculated to obtain movement feature sequences of the key points of the hands; a neural network is processed, wherein the movement feature sequences of the key points of the hands are tracked and identified, and feature sequences of gestures are obtained; the gestures are identified, wherein gesture identification results are obtained according to the feature sequences of the gestures. Accordingly, the invention also provides a system for identifying control gestures in an augmented reality environment. Gestures can be accurately and quickly identified, occupancy of resources is decreased, and robustness and real-timeliness are improved.
申请人: 上海交通大学
Applicant:
地址: 200240 上海市闵行区东川路********(隐藏)
发明(设计)人: 赵群飞 董嘉棋 颜庭满 夏泽洋
Inventor:
主分类号: G06F3/01(20060101)
分类号: G06F3/01(20060101) G06K9/00(20060101) G06T7/246(20170101) G06T19/00(20110101) G06N3/04(20060101)
  • 法律状态
2021-04-02  授权
2018-10-09  实质审查的生效IPC(主分类):G06F 3/01申请日:20171109
2018-04-10  公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
  • 其他信息
主权项  1.一种增强现实环境下控制手势识别方法,其特征在于,包含以下步骤:/n数据获取步骤:根据通过深度摄像头跟踪获取人手部的深度数据,计算手部关键点的三维坐标,来获取手部关键点的运动特征序列;/n神经网络处理步骤:对手部关键点的运动特征序列进行跟踪与识别,获得手势的特征序列;/n手势识别步骤:根据手势的特征序列,获得手势识别结果;/n所述神经网络处理步骤中,采用神经网络对手部关键点的运动特征序列进行跟踪与识别;/n所述神经网络为多个神经元互连形成的反馈型神经网络;/n所述神经网络处理步骤包含以下步骤:/n接收步骤:当一个神经元获取到邻域神经元的信号时,获取该神经元与邻域神经元的馈接信号与连接信号,选取馈接信号与连接信号中的较小值作为该神经元的邻域信号;/n根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号,对被激活的邻域神经元进行权重筛选以获得筛选信号,公式如下:/n /n /nLi(n)=min{Lli(n),Lki(n)}/nPi(n)=Select{Sk,j(n)}/n式中:Lli为神经元Ni获取的邻域神经元的连接信号;Lli()为神经元Ni获取的邻域神经元的连接信号函数;Ni表示第i个神经元;n为迭代次数;Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号;e为自然底数;αL为连接域的时间常数;Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号;VL为连接域的放大系数;l的取值范围为:l为邻域发出连接信号神经元的个数,l为正整数;Wli为神经元Ni的连接域的连接权系数矩阵;Yl为邻域发出连接信号的神经元的输出;Yl()为邻域发出连接信号的神经元的输出函数;Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出;Lki为神经元Ni获取的邻域神经元的馈接信号;Lki()为神经元Ni获取的邻域神经元的馈接信号函数;Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号;αK为馈接域的时间常数;Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号;VK为馈接域的放大系数;k的取值范围为:k为邻域发出馈接信号神经元的个数,k为正整数;Wki为神经元Ni的馈送域的连接权系数矩阵;Yk为邻域发出馈接信号的神经元的输出;Yk()为邻域发出馈接信号的神经元的输出函数;Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出;Li为神经元Ni的筛选后的连接信号;Li()为神经元Ni的筛选后的连接信号函数;Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号;Pi为神经元Ni的筛选信号;Pi()为神经元Ni的筛选信号函数;Pi(n)为第n次迭代下的神经元Ni的筛选信号;Select{}表示对被激活的邻域神经元的激活信号进行筛选;Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号;Sk,j为被激活的邻域神经元的激活信号;Sk,j()为被激活的邻域神经元的激活信号函数;Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号;/n调节步骤:对筛选信号与邻域信号按以下公式进行调整,获得调整信号:/n /n式中:为神经元Ni的调整信号;为神经元Ni的调整信号函数;为第n次迭代下的神经元Ni的调整信号;dist(Ni,NT)表示神经元Ni和NT之间的欧式距离;Ni表示第i个神经元,NT表示终点目标神经元;/n脉冲发生步骤:将调整信号输入到脉冲触发器中,按以下公式来进行感兴趣方向的调整:/n /n /n /n式中:Ui为神经元Ni的内部行为信号;Ui()为神经元Ni的内部行为信号函数;Ui(n)为第n次迭代下的神经元Ni的内部行为信号;Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号;θi为神经元Ni的变阈值函数输出;θi()为神经元Ni的变阈值函数输出函数;θi(n)为第n次迭代下的神经元Ni的变阈值函数输出;αθ为变域值函数的时间常数;θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出;Vθ为阈值放大系数;Yi为神经元Ni的输出信号;Yi()为神经元Ni的输出信号函数;Yi(n)为第n次迭代下的神经元Ni的输出信号;/n将Yi(n)作为所述手势的特征序列。/n
公开号  107894834B
公开日  2021-04-02
专利代理机构  31236 上海汉声知识产权代理有限公司
代理人  郭国中
颁证日  
优先权  
 
国别 优先权号 优先权日 类型
CN  201711100432  20171109 
国际申请  
国际公布  
进入国家日期  
  • 专利对比文献
类型 阶段 文献号 公开日期 涉及权利要求项 相关页数
注:不保证该信息的有效性、完整性、准确性,以上信息也不具有任何效力,仅供参考。使用前请另行委托专业机构进一步查核,使用该信息的一切后果由用户自行负责。
X:单独影响权利要求的新颖性或创造性的文件;
Y:与检索报告中其他 Y类文件组合后影响权利要求的创造性的文件;
A:背景技术文件,即反映权利要求的部分技术特征或者有关的现有技术的文件;
R:任何单位或个人在申请日向专利局提交的、属于同样的发明创造的专利或专利申请文件;
P:中间文件,其公开日在申请的申请日与所要求的优先权日之间的文件,或会导致需核实该申请优先权的文件;
E:单独影响权利要求新颖性的抵触申请文件。
  • 期刊对比文献
类型 阶段 期刊文摘名称 作者 标题 涉及权利要求项 相关页数
  • 书籍对比文献
类型 阶段 书名 作者 标题 涉及权利要求项 相关页数