Žestu atpazīšana

Abstract

Redzes balstītu cilvēka žestu atpazīšana ir problēma, kura sevī iekļauj kadru virknes klasi- ficēšanu un noteiktā žesta atrašanu. Žestu atpazīšanai ir vairāki pielietojumi tādās jomās kā video novērošanā, video apstrādē, cilvēka - datora mijiedarbībā un citās. Darbā tiek izskatīti tagadējie sasniegumi žestu atpazīšanā, pētītas pieejamās datu kopas un izveidotas jaunas datu kopas uz UTD-MHAD [9] uzņemtiem videoklipiem. Veicot darbu, tiek padziļināti apskatītas pozu iegū- šanas metodes un esošās tehnoloģijas. Visvairāk no pozu atpazīšanas rīkiem darbā tiek apskatīta Posenet bibliotēka, kura darbojas tīmekļa pārlūkprogrammā. Tiek izveidoti žestu klasifikācijas un žestu lokalizācijas neironu tīkli. Apvienojot PoseNet bibliotēku ar klasifikācijas un lokali- zācijas neironu tīkliem, tiek izveidota tīmekļa lietotne, kura reālā laikā atpazīst cilvēka žestus. Rezultātā tīmekļa lietotne labi atpazīst vienkāršus žestus, bet rodas problēmas ar sarežģītākiem žestiem.

Vision based human gesture recognition is a problem which includes frame sequence loca- lisation and classification. Gesture recognition has many applications such as video surveillan- ce, video processing, human computer interaction and other. In work author discusses existing achievements in pose and gesture recognition, studies existing tools for pose detection and action recognition data sets. UTD-MHAD [9] data set is used as base for action detection and recogni- tion, author annotates existing UTD-MHAD videos with PoseNet pose detection framework and creates multiple new data sets which are used for training neural networks. Author creates two neural networks one for action detection and second one for action classifications and creates web application which can recognise gesture from users camera in real time. Although results for classification and recognition networks are promising in separate user application testing. Ap- plication fails to detect and classify complex gestures, but can easily localise and detect simple gestures.