İşaret Dili Hareketlerinin Bir İnsansı Robot Tarafından Taklit Yoluyla Gerçeklenmesi Ve Öğrenilmesi

Abstract

bu çalışma, işitme engelli kişilere işaret dilinin öğretilmesinde insansı robotların kullanımının yaygınlaşmasını hedeflemektedir. Çalışmada el ve parmaklara sahip olması açısından pek çok Türk İsaret Dili (TİD) kelimesini gerçekleyen H-25 Nao robot kullanılmıştır. İsaret dili hareketlerini gerçekleme için insan hareketleri sırasında insan iskelet yapısının eklem pozisyon bilgilerini kayıt edebilme özelliğine sahip Microsoft Kinect algılayıcısı kullanılmıştır. Makine öğrenmesi metodları kullanılarak tanıma çalışmaları yapılmıştır. İsaret dili hareketlerinin ve temel vücut hareketlerinin modellenmesi ve gerçeklenmesi için iki olasılıksal method gösterilmiş bu modellerden elde edilen sonuçlar insansı robot kullanılarak gerçeklenmiştir. İlk metot gauss karışım modeli ile(GKM) hareketin önemli özellikleri çıkartılmıştır. İkinci olarak Gauss karışım regresyonu (GKR) kullanılarak hareketin genelleştirilmiş yörünge formu elde edilmiştir. Son olarak regresyondan elde edilen hareket yörüngesi choregraph benzetim programı kullanılarak NAO insansı robot üzerinde gerçeklenmiş ve insan hareketine yakın bir hareketlerin taklit edildiği görülmüştür.

This study aims to spread the use of humanoid robots in teaching sign language to hearing impaired people. A child-sized nao humanoid robot which perform various elementary signs (currently basic upper torso gestures and words from sign languages) so as to assist teaching these signs to children with communication problems is used. To track the sign language gestures, Microsoft Kinect that has a ability to record the structure of the human skeletal joints position information is used. For modeling and implementation of ?ve different sign language gestures are shown in two probabilistic method, Gaussian Mixture Model and Gaussian Mixture Regression (GMM, GMR). The results from these models are performed on a humanoid robot. Using the ?rst method (GMM), important features of the gestures are extracted. Secondly, generalized trajectory was retrieved by gaussian mixture regression (GMR). Finally, the reproduction of the gesture trajectory is implemented on virtual Nao humanoid robot using the Chorégraphe simulation environment and tested that humanoid robot is imitating the gestures well according to human gestures.