Robot And Avatar Based Interactive System For Children’s Education

dc.contributor.advisor Köse, Hatice tr_TR
dc.contributor.author Yorgancı Kındıroğlu, Rabia tr_TR
dc.contributor.authorID 10128072 tr_TR
dc.contributor.department Bilgisayar Mühendisliği tr_TR
dc.contributor.department Computer Engineering en_US
dc.date 2016 tr_TR
dc.date.accessioned 2018-06-04T07:46:26Z
dc.date.available 2018-06-04T07:46:26Z
dc.date.issued 2016 -11-29 tr_TR
dc.description Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016 tr_TR
dc.description Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2016 en_US
dc.description.abstract Bu tezde, insansı robotlar ve avatarların eğitimde kullanım alanları ele alınmıştır. Bu amaçla Avatar ve Robot tabanlı eğitim sistemleri ve araştırmacıların testlerini hazırlayıp sonuçlarını toplayabilmeleri için bir framework olmak üzere üç sistem geliştirilip testleri yapılmıştır. Bu tezde sunulan çalışmaların temel amacı teknolojik bileşenler kullanılarak eğitimde geleneksel araçlara alternatif olarak tekrarlanabilir, uyarlanabilir ve erişilebilir bir sistemin oluşturulmasıdır. Avatar tabanlı sistem, ilkokul müfredatı üzerine uzmanlaşmış bir Türk İşaret Dili (TİD) sözlüğü yaratmayı amaçlayan TÜBİTAK Projesi kapsamında geliştirilmiştir. Ön adımlar olarak yalnızca kolları içeren, ardından yüz ifadelerinin işaret dilinde kullanımını ölçen testler yapılmıştır. Bu ön çalışmaların ardından ilkokul birinci sınıf Hayat Bilgisi Çalışma Kitabı’ndan seçilen 10 sorunun işaret diline çevrisi yapılmış ve avatar üzerinde gerçeklenmiştir. Hem düz metin hem de üretilen avatar videolarını içerecek şekilde iki grup halinde hazırlanan testler, işitme engelliler ilköğretim okulunda ilkokul öğrencileri ile yapılmıştır. Testin amacı, çocukların müfredatı takip edebilmeleri için ihtiyacı olan doğru aracı bulmaktır. Sonuçlar gösteriyor ki çocuklar, işaret dili videolarını içeren sorularda, yalnızca metin içeren sorulara göre çok daha başarılılardır. Sorulara verilen doğru cevap oranlarının düşüklüğü, çocukların işaret dilini de Türkçeyi de yeteri kadar iyi bilmedikleri için müfredatı takip etmekte güçlük yaşamalarıdır. Bu deneyler gösteriyor ki avatarın işaret dili gerçeklemesiyle oluşturulan sistemler, geleneksel eğitim araçlarına başarılı bir alternatif olabilir. NAO robot ile geliştirilen TİD Eğitim Oyunu, TİD öğrenmek isteyen çocuklra alternatif bir araç olarak sunulmaktadır. Bu oyun için hazırlanan kelimeler, işitme engelli bir eğitimciye gösterilmiş ve en başarılı seçilen dört kelime ile etkileşimli bir oyun tasarlanmıştır. Oyun, eğitim ve test olmak üzere iki temel aşamadan oluşmaktadır. Eğitim aşamasında araştırmacı robotun yaptığı işaretlerin anlamlarını resimli kartlar ile çocuklara tanıtır. Test aşamasında ise çocuklardan robotu izlemesi ve yaptığı işarete göre işaretin resmi olan etiketi oyun kartında ilgili yere yapıştırması beklenmektedir. Oyunun sonuçlarını analizinde hem oyun kartları hem de deney süresince alınan video çekimleri incelenmiştir. Oyun, eğitimin yanında hafıza oyunu özelliğini de göstermektedir. Çocuklar yapılan işaretlerin ne olduğunu anlasalar bile sıralamayı hatırlama konusunda sıkıntı yaşamışlardır. Bunun yanında, çocukların oyunun kurallarını anlamakta zorlandığı da gözlemlenmiştir. Gördüğü ve tekrarladığı sıra ile yapıştırma yapmak yerine rastgele bir sırala ile oyunu tamamlamışlardır. Bu sebeple kamera sonuçları değerlendirildiğinde oyunun başarısının oyun kartlarındaki başarıdan daha yüksek olduğu görülmektedir. Sonuç olarak NAO robotun, etkileşim kurma problemi yaşayan katılımcıların bile ilgisini çekerek oyunu tamamlamalarını sağlamış olmasını da göz önüne alarak, işaret dili eğitiminde alternatif bir yöntem olarak kullanılabileceği gösterilmiştir. Bu konudaki kısıt, robotun üç parmağının olması sebebiyle gerçekleyebileceği işaret sayısının kısıtlı olmasıdır. Üçüncü sistem olarak, özellikle araştırma projelerinin testlerinde kullanılmak üzere geliştirilmiş olan Android ve web tabanlı bir framework sunulmuştur. Kullanıcı arayüzü tasarımının esnekliği, farklı amaçlarla, farklı kullanıcı kitlesine hazırlanan projelerde rahatlıkla kullanılabilmesini sağlamaktadır. Bu tez kapsamında insan-bilgisayar ve insan-robot etkileşimi üzerine hazırlanan iki farklı çalışmada ele alınmıştır.bu çalışmalardan ilki İşaret Dili Oyunu’dur. Web ve android tabanlı sistemlerin kullanılmasıyla gerçeklenen oyunda testler web tabanlı sistem üzerinde yapılmıştır. Seçilen on kelimenin iki farklı robot ile (NAO ve R3) hazırlanmış videoları kullanıcıya sorulmuş, kullanıcıların başarımları ve robotları nasıl değerlendirdikleri ölçülmüştür. Bu testlerin sonuçalrına göre çocuklar tarafından NAO sevimli ve oyuncağa benzeyen bir robot olarak görülürken R3, hareketleri daha anlaşılır bir eğitimci olarak değerlendirilmiştir. Davul çalma oyununun temel amacı ise çocukların eğitiminde robotların etkisini etkileşimli davul çalma oyunları hazırlayarak ölçmektir. Bu sistemde yarı-insansı robot NAO T14, Android cihaz ve Air-Drum bagetleri farklı kombinasyonlar ile kullanılmıştır. Bu çalışma üniversite öğrencileri ile test edilmiştir. Oluşturulan üç farklı senaryo şu şekildedir: 1) NAO Robot ve Air-Drum, 2) Tablet ve NAO Robot, 3) Tablet ve avatar robotlar. Tablet ve Air-Drum bagetleri kullanılarak hazırlanan senaryoların sonuçları karşılaştırıldığında katılımcıların Air-Drum ile oynamaktan daha çok zevk aldığı ancak tablet üzerinde daha başarılı oldukları görülmüştür. Tüm senaryolar için yapılan testlerin sonuçları, farklı teknolojik araçların kullanımının güçlü ve zayıf yönlerini ortaya koymuştur. Yapılan tüm çalışmalar göstermiştir ki sanal araçların kullanımının çocukların eğitimi üzerinde olumlu etkileri vardır. İnsansı robotların, özellikle dış görünüşleri de bunun için elverişli ise, çocukların öğrenim süreçlerinde teşvik edici bir araç olarak yararlı olduğu gösterilmiştir. Robot entegre sistemlerin eğitimde geleneksel yöntemlere göre daha etkili olduğu görülse de maliyet, erişilebilirlik ve teknoloji bakımından robotlar henüz örgün öğretimde yaygın kullanıma hazır değillerdir. Yapılan testlerdeki işaret dili gerçekleme alanındaki başarıları ile üç boyutlu avatarlar, robotlar yaygın kullanıma tam olarak hazır olasıya kadar aradaki boşluğu doldurmak için eğitim araçlarına destek olarak kullanılabilecek düşük maliyetli sistemlerdir. tr_TR
dc.description.abstract The aim of this thesis is to present usable educational tools of students with special needs. Hearing impaired students cannot use text and speech based technological, educational material that is becoming a crucial tool for modern education. While they are not a direct substitute for human teachers, technological support materials in education have been shown to motivate children and aid instructors. To allow the use of such methods, three applications aimed at educating deaf children using the robot, the web, and avatar-based technologies was designed. One such technological medium that can be used to connect with such children are robots. Robots are often used in children's education by making use of their inherent personified nature compared to other non-human teaching mediums. Children prefer to interact by touching during a training session. In this study, we developed a method, where two humanoid robots namely R3 and NAO are used to perform sign language gestures to communicate with children using sign languages with creating human-like hand, arm and body gestures. The most powerful aspect of the robot is its embodiment that causes children to interact with the robot socially, rather than treating it as a simple, book like education tool. One other educational tool we have developed is a signing avatar. Like videos of signers, a signing avatar for TİD would allow communicating information in the form of visual gestures, thus becoming usable when the use of text is infeasible. However, compared to videos, animated avatars offer several advantages like easy reproducibility of gesture sequences, control of point of view, adjusting the speed of the sign and being smaller in storage and bandwidth then videos. For this thesis, a signing avatar was developed to represent a portion of the social sciences course for Turkish primary education curriculum. Finally, a web and android based experimental framework was developed to perform customized human-machine interaction experiments. Sign language and drum based interaction game schemes were developed to perform in-depth analysis of different education based modalities with users from different demographics. By performing usability studies and evaluations in a gamification, scheme using turn-taking games, the effectiveness of the described three methods were analyzed. The observations and the reactions of children demonstrate that of the three technologies implemented, robot technologies may be the most effective method for assisting children. While a prototype interaction scheme and used in controlled education settings have been constructed, in their current technology level, price range and ease of operability robots such as Nao do not present an implementable option of presenting the entire primary school corpora. For that reason, a signing avatar and recreated content from the Social Sciences corpora have been implemented. While the signing avatar an imitation of videos created by signing users, it possesses the advantage of easily synthesizing novel sequences of content from existing isolated sign videos. To analyze the success and effectiveness of the developed methods, the performance of the text, signer video and avatar-based interaction in a human-computer interaction scheme using elementary school students have been compared. The results demonstrate that of the three methods, video-based methods were the most comprehensible closely followed by avatar based methods among kids who did not know how to read. Since the aim was to make the signing avatar as comprehensible as possible, the results demonstrate that goal have been. en_US
dc.description.degree Yüksek Lisans tr_TR
dc.description.degree M.Sc. en_US
dc.identifier.uri http://hdl.handle.net/11527/15752
dc.publisher Fen Bilimleri Enstitüsü tr_TR
dc.publisher Institute of Science and Technology en_US
dc.rights Kurumsal arşive yüklenen tüm eserler telif hakkı ile korunmaktadır. Bunlar, bu kaynak üzerinden herhangi bir amaçla görüntülenebilir, ancak yazılı izin alınmadan herhangi bir biçimde yeniden oluşturulması veya dağıtılması yasaklanmıştır. tr_TR
dc.rights All works uploaded to the institutional repository are protected by copyright. They may be viewed from this source for any purpose, but reproduction or distribution in any format is prohibited without written permission. en_US
dc.subject İnsan Robot Etkileşimi tr_TR
dc.subject İnsan Bilgisayar Etkileşimi tr_TR
dc.subject Eğitici Oyunlar tr_TR
dc.subject Türk İşaret Dili tr_TR
dc.subject Avatar tr_TR
dc.subject Sosyal Robotik tr_TR
dc.subject Etkileşimli Öğrenme tr_TR
dc.subject Human Robot Interaction en_US
dc.subject Human Computer Interaction en_US
dc.subject Educational Games en_US
dc.subject Turkish Sign Language en_US
dc.subject Avatar en_US
dc.subject Social Robotics en_US
dc.subject Interactive Learning en_US
dc.title Robot And Avatar Based Interactive System For Children’s Education en_US
dc.title.alternative Çocuk Eğitimi İçin Tasarlanmış Robot Ve Avatar Destekli Etkileşimli Sistem tr_TR
dc.type Thesis en_US
dc.type Tez tr_TR
Dosyalar
Orijinal seri
Şimdi gösteriliyor 1 - 1 / 1
thumbnail.default.alt
Ad:
10128072.pdf
Boyut:
3.27 MB
Format:
Adobe Portable Document Format
Açıklama
Lisanslı seri
Şimdi gösteriliyor 1 - 1 / 1
thumbnail.default.placeholder
Ad:
license.txt
Boyut:
3.16 KB
Format:
Plain Text
Açıklama