基于 GSD 描述子的手势识别算法及实现开题报告

1. 研究目的与意义

随着互联网技术和智能机器人的高速发展普及，自然的、符合人类习惯的人机交互方式逐渐成为人们研究的热点。

手势识别是计算机科学和语言技术中的一个主题，其目标是通过数学算法解释人类手势。

在虚拟现实中，用户身体或肢体的运动可以作为一种重要的输入通道．通过跟踪器或计算机视觉的方法跟踪人体相关部位（如头、手、臂或腿），获得人在物理世界的运动姿态信息作为虚拟现实系统的输入，通过识别算法解释为手势或姿势，以下统称为手势这是目前最为主要的虚拟现实输入方式之一。

2. 研究内容和预期目标

提出一种新的实时手势识别方法，在基于多尺度特征的想法下，使得手指形状更加具有辨别性。

问题1：如何使不连接传感器的情况下，得到完整实时的识别手部？

问题2：如何降低成本花费且得到准确数据？

3. 国内外研究现状

人机交互”通常有三个对应概念：人与机器交互、人与计算机交互、人与机器人交互。本文的“人机交互”指的是人与机器之间的交互。人机交互的目标是用户可以高效地对机器进行控制，机器同步将交互结果返回给用户，为用户的下一步操作提供依据。用户通过一种叫做用户接口的控制器和机器进行交互。用户接口设计的原则是更加简单、高效、并且用户友好。 人机交互技术发展至今日，用户接口的变革有如下几个阶段（１）手工批处理；（２）命令行接口；（３）图形用户界面。

近年来，随着自然用户界面的提出，越来越多的用户界面的研究和设计朝着利用最自然的交流方式（如语言、表情、身体姿势、手势等）与设备进行交互，提高人机交互的效率和自然性的方向发展。在这一阶段，用户接口的设计和实现，强调通过不可见的、高效的语音识别、人脸识别、人体姿势识别、手势识别等技术来和设备进行交互。在其他日常交流方式中，手势作为更加便捷（相较于身体姿势、眼神、视线），表达力更加丰富（相较于虹膜、表情）的交互方式，越来越多的研究幵始着重于手势识别的研究。

早期的手势识别技术研究致力于通过专门的可穿戴硬件来釆集手的信息，例如数据手套，可以在用户在做手势时，采集手掌的空间位置、手指的弯曲程度等数据。1994年Wu等人借助数据手套，实现了手语识别系统由于不满其需要使用者佩戴手套的诸多限制，越来越多的研究者逐渐转移到通过其他方式采集手势信息的方向上，比如在手腕、手指上贴上或画上指定颜色的圆点标记，通过追踪这些标记用来采集手的信息．比如2009年，展示的“第六感”系统借助四个手指上的彩色标记环来定位手指的位置。例如，高文等人分别于1994和1995年提出了捕捉与识别静态和动态冗杂背景中手势的方法1999年，常红等人利用计算机视觉技术追踪手指上的标志点得到手掌和手指的相对位置，实现了对手形和手位的跟踪；2002年，部伟从视觉信息中提取出手的平面位置数据，并通过传感器获取手臂的弯曲程度，通过计算确定手的深度信息，实现了对手的空间位置的跟踪2011年，提出基于Kinect利用FEMD算法实现稳定的静态手势识别，该算法需要大量的数据进行训练。作为自然人机交互过程中不可或缺的关键技术，基于视觉外观的手势识别研究由于手指、手掌姿态丰富多变，视觉成像技术容易受到背景冗杂等因素干扰而并不鲁棒的原因，对研究者来说始终颇具挑战性。

4. 计划与进度安排

论文题目（简明扼要，用以表达功能关系）：基于多尺度特征的手势识别算法和系统设计摘要（是一个300字左右的简要归纳，应该包括研究问题、研究的理论基础、假说、方法以及主要发现。

对方法的描述可能包括试验设计、步骤、样本、手段）研究目的（通过这项课题的研究得到的成果，即进的技术手段）研究背景（根据什么、收到什么启发而进行的这项研究，具体的背景和思路，阐明为什么要研究这个课题的而价值和能解决什么问题）研究内容（具体要解决的主要问题本文还是为了提高更高的效率并且花费更小的设备，根据研究目标展开、细化成若小的问题）创新点（主要还是本课题中的多尺度的问题）研究技术方案（具体还是按照基础三个算法进行思考即dtw、svm以及bp）研究阶段（前期准备阶段1-2月、中期实施阶段2-3月、以及后期的总结阶4-5月。

）预期达到的效果（研究报告论文、著作、专利等）最后参考文献

5. 参考文献

[1] J.P. Wachs, M. Kolsch, H. Stern, Y. Edan, Vision-based handgesture applications,Commun. ACM 54 (2011) 60–71.[2] G. Dewaele, F. Devernay, R. Horaud, Hand motion from 3d point trajectoriesand a smooth surfacemodel, in: Proc. ECCV, 2004.[3] E. Foxlin, Motion tracking requirements and technologies, in: Handbook of Vir#65534;tual Environment Technology, 2002, pp. 163–210.[4] C. Chua, H. Guan, Y. Ho, Model-based 3D hand posture estimation from a sin#65534;gle 2D image, Image Vis. Comput. 20 (2002) 191–202.[5] B. Stenger, A. Thayananthan, P. Torr, R. Cipolla, Filtering using a tree-based es#65534;timator, in: Proc. of IEEE ICCV, 2003.[6] G.R.S. Murthy, R.S. Jadon, A review of vision based hand gesture recognition,Int. J. Inf. Technol. Knowl. Manag. 2 (2009) 405–410.[7] J. Cheng, C. Xie, W. Bian, D. Tao, Feature fusion for 3D hand gesture recognitionby learning a shared hidden space, Pattern Recognit. Lett. 33 (2012) 476–484.[8] F. Dominio, M. Donadeo, P. Zanuttigh, Combining multiple depth-based de#65534;scriptors for hand gesture recognition, Pattern Recognit. Lett. 50 (2014)101–111.[9] J. Shotton, A. Fitzgibbon, M. Cook, A. Blake, Real-time human pose recognitionin parts from single depth images, in: Proc. IEEE CVPR, 2011.[10] S. Belongie, J. Malik, J. Puzicha, Shape matching and object recognition usingshape contexts, IEEE Trans. Pattern Anal. Mach. Intell. 24 (2002) 509–522.[11] H. Ling, D.W. Jacobs, Shape classification using the inner-distance, IEEE Trans.Pattern Anal. Mach. Intell. 29 (2007) 286–299.[12] X. Bai, L.J. Latecki, Path similarity skeleton graph matching, IEEE Trans. PatternAnal. Mach. Intell. 30 (2008) 1–11.[13] K. Siddiqi, S. Bouix, A.R. Tannenbaum, S.W. Zucker, Hamilton Jacobi skeletons,Int. J. Comput. Vis. 48 (2002) 215–231.[14] Z. Ren, J. Yuan, J. Meng, Z. Zhang, Robust part-based hand gesture recog#65534;nition using kinect sensor, in: IEEE Trans. Multimedia, volume 15, 2013,pp. 1110–1120.[15] Z. Ren, J.S. Yuan, W. Liu, Minimum near-convex shape decomposition, IEEETrans. Pattern Anal. Mach. Intell. 35 (2013) 2546–2552.[16] J. Yang, H. Wang, J. Yuan, Y. Li, J. Liu, Invariant multi-scale descriptor for shaperepresentation, matching and retrieval, Comput. Vis. Image Underst. 145 (2016)43–58.[17] G. Marin, F. Dominio, P. Zanuttigh, Hand gesture recognition with leap motionand kinect devices, in: IEEE Int. Conf. on Image Processing (ICIP), Paris, France,2014.[18] A. Memo, P. Zanuttigh, Head-mounted gesture controlled interface for human#65534;computer interaction, Multimed. Tools Appl., Available online. 2017.[19] J. Yang, C. Zhu, J. Yuan, Real time hand gesture recognition via finger-empha#65534;sized multi-scale description, in: IEEE Int. Conf. Multimedia and Expo, 2017,pp. 631–636.[20] A. Wilson, A. Bobick, Parametric hidden Markov models for gesture recogni#65534;tion, IEEE Trans. Pattern Anal. Mach. Intell. 21 (1999) 884–900.[21] M.C. Su, A fuzzy rule-based approach to spatio temporal hand gesture recog#65534;nition, IEEE Trans. Syst. Man. Cybern. C 30 (2000) 276–281.[22] C. Kwok, D. Fox, M. Meila, Real time particle filters, Proc. IEEE (2004) 469–484.[23] A. Erol, G. Bebis, M. Nicolescu, R.D. Boyle, X. Twombly, Vision based hand poseestimation: a review, Comput. Vis. Image Underst. 108 (2007) 52–73.[24] Y. Fang, K. Wang, J. Cheng, H. Lu, A real time hand gesture recognition method,in: Proc. IEEE Int. Conf. Multimedia and Expo, 2007, pp. 995–998.[25] M.H. Yang, N. Ahuja, M. Tabb, Extraction of 2D motion trajectories and its ap#65534;plication to hand gesture recognition, IEEE Trans. Pattern Anal. Mach. Intell. 29(2002) 1062–1074.[26] M. Reale, S. Canavan, L. Yin, K. Hu, T. Hung, A multi-gesture interaction systemusing a 3D iris disk model for gaze estimation and an active appearance modelfor 3d hand pointing, IEEE Trans. Multimed. 13 (2011) 474–486.[27] M. Bray, E. Koller-Meier, L.V. Gool, Smart particle filtering for 3D hand tracking,in: Proc. IEEE Int. Conf. Face and Gesture Recognition, Los Alamitos, CA, USA,2004, pp. 675–680.[28] J. Yang, Y.F. Li, J.S. Yuan, Parsing 3D motion trajectory for gesture recognition,J. Vis. Commun. Image Represent 38 (2016) 627–640.[29] P. Molchanov, X. Yang, S. Gupta, Online detection and classification of dynamichand gestures with recurrent 3D convolutional neural network, in: Proc. IEEEInt. Conf. CVPR, 2016. 7Y. Huang and J. Yang Pattern Recognition Letters xxx (xxxx) xxxARTICLE IN PRESSJID: PATREC [m5G;November 23, 2020;9:55][30] Q. Ye, S. Yuan, T. Kim, Spatial attention deep net with partial PSO for hierarchical hybrid hand pose estimation, in: Proc. ECCV, 2016.[31] L. Latecki, R. Lakamper, Shape similarity measure based on correspondenceof visual parts, IEEE Trans. Pattern Anal. Mach. Intell. 22 (10) (2000) 1185–1190.[32] L. Rabiner, B. Juang, Fundamentals of Speech Recognition, Prentice-Hall, NewJersey, 1993.[33] R. Hecht-Nielsen, Theory of the backpropagation neural network, in: Int. JointConf. IEEE Neural Networks, IJCNN., 1989, pp. 593–605.[34] C.C. Chang, C.J. Lin, LIBSVM: A library for support vector machines. ACM transactions on intelligent systems and technology, 2011, Software available at http://www.csie.ntu.edu.tw/cjlin/libsvm. 1–27.[35] G. Marin, F. Dominio, P. Zanuttigh, Hand gesture recognition with jointlycalibrated leap motion and depth sensor, Multimed. Tools Appl. 75 (2015)14991–15015.[36] C. Zhu, J. Yang, Z. Shao, et al., Vision based hand gesture recognition using 3Dshape context, IEEE/CAA Journal of Automatica Sinica (2019), doi:10.1109/JAS.2019.1911534.[37]袁荣尚,罗晓曙.基于多尺度卷积神经网络模型的手势图像识别[J].现代电子技术,2019,42(24):150-153.DOI:10.16652/j.issn.1004-373x.2019.24.036.[38]解栋文. 手势识别算法研究及实现[D].安徽大学,2019.[39]何溢文. 基于RGB-D图像的手势识别方法研究[D].苏州大学,2018.[40]白时雨. 基于多尺度HMM的手势识别方法研究[D].吉林大学,2013.[41]杨筱林,姚鸿勋.基于多尺度形状描述子的手势识别[J].计算机工程与应用,2004(32):76-78 105.[42]丁海洋,阮秋琦.多尺度模型与矩描绘子相结合的手势识别算法[J].北方交通大学学报,2004(02):41-45.