Robot And Avatar Based Interactive System For Children’s Education

Abstract

Bu tezde, insansı robotlar ve avatarların eğitimde kullanım alanları ele alınmıştır. Bu amaçla Avatar ve Robot tabanlı eğitim sistemleri ve araştırmacıların testlerini hazırlayıp sonuçlarını toplayabilmeleri için bir framework olmak üzere üç sistem geliştirilip testleri yapılmıştır. Bu tezde sunulan çalışmaların temel amacı teknolojik bileşenler kullanılarak eğitimde geleneksel araçlara alternatif olarak tekrarlanabilir, uyarlanabilir ve erişilebilir bir sistemin oluşturulmasıdır. Avatar tabanlı sistem, ilkokul müfredatı üzerine uzmanlaşmış bir Türk İşaret Dili (TİD) sözlüğü yaratmayı amaçlayan TÜBİTAK Projesi kapsamında geliştirilmiştir. Ön adımlar olarak yalnızca kolları içeren, ardından yüz ifadelerinin işaret dilinde kullanımını ölçen testler yapılmıştır. Bu ön çalışmaların ardından ilkokul birinci sınıf Hayat Bilgisi Çalışma Kitabı’ndan seçilen 10 sorunun işaret diline çevrisi yapılmış ve avatar üzerinde gerçeklenmiştir. Hem düz metin hem de üretilen avatar videolarını içerecek şekilde iki grup halinde hazırlanan testler, işitme engelliler ilköğretim okulunda ilkokul öğrencileri ile yapılmıştır. Testin amacı, çocukların müfredatı takip edebilmeleri için ihtiyacı olan doğru aracı bulmaktır. Sonuçlar gösteriyor ki çocuklar, işaret dili videolarını içeren sorularda, yalnızca metin içeren sorulara göre çok daha başarılılardır. Sorulara verilen doğru cevap oranlarının düşüklüğü, çocukların işaret dilini de Türkçeyi de yeteri kadar iyi bilmedikleri için müfredatı takip etmekte güçlük yaşamalarıdır. Bu deneyler gösteriyor ki avatarın işaret dili gerçeklemesiyle oluşturulan sistemler, geleneksel eğitim araçlarına başarılı bir alternatif olabilir. NAO robot ile geliştirilen TİD Eğitim Oyunu, TİD öğrenmek isteyen çocuklra alternatif bir araç olarak sunulmaktadır. Bu oyun için hazırlanan kelimeler, işitme engelli bir eğitimciye gösterilmiş ve en başarılı seçilen dört kelime ile etkileşimli bir oyun tasarlanmıştır. Oyun, eğitim ve test olmak üzere iki temel aşamadan oluşmaktadır. Eğitim aşamasında araştırmacı robotun yaptığı işaretlerin anlamlarını resimli kartlar ile çocuklara tanıtır. Test aşamasında ise çocuklardan robotu izlemesi ve yaptığı işarete göre işaretin resmi olan etiketi oyun kartında ilgili yere yapıştırması beklenmektedir. Oyunun sonuçlarını analizinde hem oyun kartları hem de deney süresince alınan video çekimleri incelenmiştir. Oyun, eğitimin yanında hafıza oyunu özelliğini de göstermektedir. Çocuklar yapılan işaretlerin ne olduğunu anlasalar bile sıralamayı hatırlama konusunda sıkıntı yaşamışlardır. Bunun yanında, çocukların oyunun kurallarını anlamakta zorlandığı da gözlemlenmiştir. Gördüğü ve tekrarladığı sıra ile yapıştırma yapmak yerine rastgele bir sırala ile oyunu tamamlamışlardır. Bu sebeple kamera sonuçları değerlendirildiğinde oyunun başarısının oyun kartlarındaki başarıdan daha yüksek olduğu görülmektedir. Sonuç olarak NAO robotun, etkileşim kurma problemi yaşayan katılımcıların bile ilgisini çekerek oyunu tamamlamalarını sağlamış olmasını da göz önüne alarak, işaret dili eğitiminde alternatif bir yöntem olarak kullanılabileceği gösterilmiştir. Bu konudaki kısıt, robotun üç parmağının olması sebebiyle gerçekleyebileceği işaret sayısının kısıtlı olmasıdır. Üçüncü sistem olarak, özellikle araştırma projelerinin testlerinde kullanılmak üzere geliştirilmiş olan Android ve web tabanlı bir framework sunulmuştur. Kullanıcı arayüzü tasarımının esnekliği, farklı amaçlarla, farklı kullanıcı kitlesine hazırlanan projelerde rahatlıkla kullanılabilmesini sağlamaktadır. Bu tez kapsamında insan-bilgisayar ve insan-robot etkileşimi üzerine hazırlanan iki farklı çalışmada ele alınmıştır.bu çalışmalardan ilki İşaret Dili Oyunu’dur. Web ve android tabanlı sistemlerin kullanılmasıyla gerçeklenen oyunda testler web tabanlı sistem üzerinde yapılmıştır. Seçilen on kelimenin iki farklı robot ile (NAO ve R3) hazırlanmış videoları kullanıcıya sorulmuş, kullanıcıların başarımları ve robotları nasıl değerlendirdikleri ölçülmüştür. Bu testlerin sonuçalrına göre çocuklar tarafından NAO sevimli ve oyuncağa benzeyen bir robot olarak görülürken R3, hareketleri daha anlaşılır bir eğitimci olarak değerlendirilmiştir. Davul çalma oyununun temel amacı ise çocukların eğitiminde robotların etkisini etkileşimli davul çalma oyunları hazırlayarak ölçmektir. Bu sistemde yarı-insansı robot NAO T14, Android cihaz ve Air-Drum bagetleri farklı kombinasyonlar ile kullanılmıştır. Bu çalışma üniversite öğrencileri ile test edilmiştir. Oluşturulan üç farklı senaryo şu şekildedir: 1) NAO Robot ve Air-Drum, 2) Tablet ve NAO Robot, 3) Tablet ve avatar robotlar. Tablet ve Air-Drum bagetleri kullanılarak hazırlanan senaryoların sonuçları karşılaştırıldığında katılımcıların Air-Drum ile oynamaktan daha çok zevk aldığı ancak tablet üzerinde daha başarılı oldukları görülmüştür. Tüm senaryolar için yapılan testlerin sonuçları, farklı teknolojik araçların kullanımının güçlü ve zayıf yönlerini ortaya koymuştur. Yapılan tüm çalışmalar göstermiştir ki sanal araçların kullanımının çocukların eğitimi üzerinde olumlu etkileri vardır. İnsansı robotların, özellikle dış görünüşleri de bunun için elverişli ise, çocukların öğrenim süreçlerinde teşvik edici bir araç olarak yararlı olduğu gösterilmiştir. Robot entegre sistemlerin eğitimde geleneksel yöntemlere göre daha etkili olduğu görülse de maliyet, erişilebilirlik ve teknoloji bakımından robotlar henüz örgün öğretimde yaygın kullanıma hazır değillerdir. Yapılan testlerdeki işaret dili gerçekleme alanındaki başarıları ile üç boyutlu avatarlar, robotlar yaygın kullanıma tam olarak hazır olasıya kadar aradaki boşluğu doldurmak için eğitim araçlarına destek olarak kullanılabilecek düşük maliyetli sistemlerdir.

The aim of this thesis is to present usable educational tools of students with special needs. Hearing impaired students cannot use text and speech based technological, educational material that is becoming a crucial tool for modern education. While they are not a direct substitute for human teachers, technological support materials in education have been shown to motivate children and aid instructors. To allow the use of such methods, three applications aimed at educating deaf children using the robot, the web, and avatar-based technologies was designed. One such technological medium that can be used to connect with such children are robots. Robots are often used in children's education by making use of their inherent personified nature compared to other non-human teaching mediums. Children prefer to interact by touching during a training session. In this study, we developed a method, where two humanoid robots namely R3 and NAO are used to perform sign language gestures to communicate with children using sign languages with creating human-like hand, arm and body gestures. The most powerful aspect of the robot is its embodiment that causes children to interact with the robot socially, rather than treating it as a simple, book like education tool. One other educational tool we have developed is a signing avatar. Like videos of signers, a signing avatar for TİD would allow communicating information in the form of visual gestures, thus becoming usable when the use of text is infeasible. However, compared to videos, animated avatars offer several advantages like easy reproducibility of gesture sequences, control of point of view, adjusting the speed of the sign and being smaller in storage and bandwidth then videos. For this thesis, a signing avatar was developed to represent a portion of the social sciences course for Turkish primary education curriculum. Finally, a web and android based experimental framework was developed to perform customized human-machine interaction experiments. Sign language and drum based interaction game schemes were developed to perform in-depth analysis of different education based modalities with users from different demographics. By performing usability studies and evaluations in a gamification, scheme using turn-taking games, the effectiveness of the described three methods were analyzed. The observations and the reactions of children demonstrate that of the three technologies implemented, robot technologies may be the most effective method for assisting children. While a prototype interaction scheme and used in controlled education settings have been constructed, in their current technology level, price range and ease of operability robots such as Nao do not present an implementable option of presenting the entire primary school corpora. For that reason, a signing avatar and recreated content from the Social Sciences corpora have been implemented. While the signing avatar an imitation of videos created by signing users, it possesses the advantage of easily synthesizing novel sequences of content from existing isolated sign videos. To analyze the success and effectiveness of the developed methods, the performance of the text, signer video and avatar-based interaction in a human-computer interaction scheme using elementary school students have been compared. The results demonstrate that of the three methods, video-based methods were the most comprehensible closely followed by avatar based methods among kids who did not know how to read. Since the aim was to make the signing avatar as comprehensible as possible, the results demonstrate that goal have been.