İnsansı Robot Destekli İşaret Dili Öğretimi

Abstract

Bu tez çalışmasında insansı robotların işaret dili öğretimini de kullanılması amaçlanmıştır. İnsansı robotlar, taklit tabanlı etkileşim oyunlarıyla iletişim problemi olan kişilere bilhassa işitme engelli ve otistik çocuklara yardımcı olmak için görevlendirilmiştir. Bu çalışma göstermiştir ki insansı robotlar, işaret dili öğretiminde etkili bir araç olarak kullanılabilirler. Bu tez kapsamında işaret dili eğitiminin bir parçası olarak kullanılmak üzere sosyal robotik bir çatı (framework) önerilmiştir. Önerilen çatı sistemi tanıma modülü, gerçekleme modülü ve davranış veri tabanı içerir. Aile bireyleri ve eğitmenler tarafından kullanılabilecek sistem, duygu tanıma, görüntü tanıma, hareket tanıma, yüz tanıma ve konuşma tanıma modülleri içerir. Çalışmada iki tip insansı robot kullanılmıştır; Nao H-25 ve Robovie R3. Bu çalışmada insansı bir robotun işaret dili öğretimindeki yararlılığı ve performansı değerlendirilmiştir. Gerçeklenmiş sistem, çocuğun ilgi durumunu tespit etmek için yüz izleme sistemi kullanmaktadır. Sistemin yapısı çocuğun robotun karşısında öğretmen, öğrenci ve arkadaş rollerini almasını sağlar. Çocuğun değişik roller alarak sosyal iletişim ve etkileşim yeteneklerinin gelişmesi, kendine güveninin artması hedeflenmiştir. Deneyler, çocuklarla test edilmeden önce ilk olarak yetişkinlerle test edilmiştir. Yetişkinlerle yaptığımız testlerde asıl amacımız, işitme bozukluğu olan çocuklarla herhangi bir test yapmadan önce deney düzeneğinin mümkün olduğunca mükemmelleştirilebilmesi için atılması gereken adımların belirlenmesidir. Testlerden elde edilen ilk sonuçlar, insansı robot ve çocuklar arasında daha uygun bir etkileşim kurulabilmesini sağlamak amacıyla yapılması gereken değişikliklerde yol gösterici olmuştur.

The humanoid robots can perform various elementary sign language words to assist teaching these words to hearing-impaired children. In this thesis, a framework is proposed for ideal humanoid robot – children interaction. The system proposed here can be easily adapted to the children’s disability degree. Teaching can be achieved using interaction games based on non-verbal communication, turn taking and imitation, designed specifically for the robot and child to engage each other in play. In this study, two types of humanoid robots are used: Nao H-25 humanoid robot and Robovie R3 humanoid robot. The overall scenario includes three different modes. In the first mode, the participants and the robot gain familiarity with each other and the participant also introduced with signs. In this mode, the robot tries to keep the participant’s interest fresh by detecting the participant’s face. If the participant loses his/her interest, the robot gives motivation to the participant. In the second mode, the participant and the robot repeat signs together. In this mode, the aim is reinforcement of signs. In the third mode, the robot and the participant play an interactive game. There are four different interactive games based on this scenario in the current system. The system can be easily adapted to different words and different games. The system is tested with different participant groups including kindergarden school children, primary school children, teenagers and adults. The obtained results are quite promising and motivate us for further studies.