Theory of mind and concept learning based mobile games for children with communication impairment

Abstract

In the recent decade, both researchers and game creators have special interest to work with mobile devices, since everyone has their mobile phones in their pockets. With the combination of the two, gamification and the serious games, which have different purposes such as teaching and research rather than entertaining as the first priority, have been developed. Within this study, theory of mind and concept learning based mobile game has been developed. These two methods were chosen because these are the natural part of a childhood development. On the other hand, concept learning and theory of mind methods commonly used to teach to children with autism by teachers. Recent studies demonstrates a plenty of popular and efficient methods about education and therapy of children with autism. By evaluating these methods and fulfilling the requirements of mobile game development and preserving the schematic attraction, a game is developed which is fun and exciting to play according to the survey results of the game. The developed game has four mini games in it. Three of them are related with the concept learning, these ones are shape matching game, color matching game and voice/object matching game. The fourth one is a facial expression recognition game related with the theory of mind. All mini games are created carefully and then shared with experts to receive their opinions and feedback. After the feedback, some functions and images are re-designed to serve better for children. The purpose of the game is collecting player data and interpreting it while entertaining children. The obtained data will be used for the next stage of the project which will aim to diagnose autism in children. This game is developed with Unity game engine, and some auxiliary services such as AR Emoji by Samsung and Wavenet by Google are utilized to better serve to children during the game play. The game is released to both Android and iOS application stores to be accessible easily by parents and teachers. Then, through acquaintances and teachers we know from the school of special education, we reached out to parents. Data has been obtained during the game play in the background. Also, there is a section that parents and/or teachers can complete a survey after the game to share their experiences with the game.

Özellikle son yıllarda, mobil cihazların da iyice hayatımızda yer edinmesiyle, gerek akademik çalışma yürüten araştırmacılar, gerek ise oyun yaratıcıları, mobil cihazlara yönelmiş durumdadır. İkisinin bir araya gelmesiyle oyunlaştırma alanı ve ciddi oyunlar denen, ilk önceliği eğlendirmekten ziyade öğretme, araştırma gibi farklı amaçlar taşıyan alanlar oluşmuştur. Bu tez kapsamında çocukluk gelişiminin doğal bir parçası olan kavram öğrenme ve zihin kuramı yöntemleri ile çocuklara uygun mobil oyun tasarlanmıştır. Bu yöntemlerin seçilmesinin bir nedeni de, özellikle kendini ifade etmekte zorluk çeken, iletişim gücü düşük ve öğrenmekte güçlük çeken otizm spectrum bozukluğu olan çocuklara da eğitim aşamasında yine bu yöntemlerin kullanılmasıdır. Literatür araştırması yapılırken en popüler, en etkili yöntemler ile, eğitim ve terapi gibi çok çeşitli konularda çalışma yapan makaleler incelenmiş, güvenilir web siteslerinden faydalanılmıştır. Tüm bu bilgiler değerlendirilerek, mobil oyun sektörünün popüler gereklilikleri ve tasarımsal cazibe de korunarak çocuklar için, anket sonuçlarının da gösterdiği üzere, oynaması heyecanlı ve eğlenceli oyun modları geliştirilmiştir. Tez araştırmasının bir parçası olarak geliştirilen ve "Mini Oyunlar" adı verilen bu mobil oyunda dört tane mini oyun modu bulunmaktadır. Bunlar, kavram öğrenmesini destekleyen şekil eşleştirme, renk eşleştirme ile ses ve obje tanımanın yanında; zihin kuramıyla alakalı yüz ifadelerinden duygu tanıma oyunudur. Tüm oyunlar önceden tasarlanıp oluşturulmuş olup sonrasında özel eğitim öğretmenlerine gösterilerek fikirleri alınmış ve önerileri doğrultusunda yeniden yapılandırılmıştır. Bu tam koordineli çalışma hali, oyunu çocuklara ve özellikle de iletişim güçlüğü olan çocuklara biraz daha uygun hale getirmiştir. Tabi ki oyun bu ilk aşamasında direkt olarak eğitme amacı gütmemekle birlikte, bunu da başarmış ancak araştırma ve çocukların arasında verilere dayanan bir farklılık tespit edebilme gayesiyle hazırlanmıştır. Uzun soluklu düşünülen ve ilk kısmı bu tezi oluşturan bu projenin amacı ileride, elde edilmiş verilerle oyunu geliştirilerek, çocuklarda otizmin tespitine yardımcı olmaktır. Oyun Unity oyun motoru kullanılarak geliştirildi. Samsung AR Emoji ve Google'ın gerçekçi ses sentezi oluşturmaya yarayan Wavenet gibi yardımcı unsurlar çocuklara oyun içinde asistanlık yapması amacıyla bir araya getirildi. Bu yardımcı asistan oyun içinde, ilk sahnede bir erkek ve bir kız olarak ekranda belirir. Oyuncu kişisel tercihine göre bu karakterlerden birini seçer. Daha sonra hem bilgi girme ekranında hem de tüm mini oyunların başında, bu karakterlerin animasyonu belirerek oyuncuya ne yapmasını gerektiğini anlatır. Bu sesli desteğin yanı sıra ek olarak her ihtimale karşı yazılı bilgilendirmeler de bulunmaktadır. Oyunda her çocuk için, özellikle de otizm spektrum bozukluğuna sahip çocuklar için hem sesli hem de görsel uyaranlar bulunmaktadır. Bunlar oyunun nasıl oynanacağına dair ip uçları içerdiği gibi aynı zamanda da doğru ve yalnış hamlelerde bunun başarılı ya da hatalı olduğunu işaret eden sesler oyuna eklenmiştir. Kart/ses eşleştirme modu ve yüz ifadesi tanıma modunda aynı pozitif ve negatif uyaranlar kullanılmıştır. Her doğru seçenekte konfetiler patlar, ve alkış ile pozitif bağırışma sesleri duyulur. Her negatif seçenekte ise cansız ve negatifliği anımsatan bir ses çalar. Renk eşleştirme modunda görsel uyaran olarak nesnelerin patladığını gösteren çok hoş bir patlama efekti yaratılmıştır. Bu animasyona bir de ses eşlik etmektedir. Son olarak da şekil eşleştirme modu bulunmaktadır. Bu modda her doğru eşleştirme için yine bir başarım sesi çalmaktadır, ek olarak birleştirilen şekil yarım saniyeliğine yeşil renkte yanıp doğru eşleştirmeyi pekiştirmektedir. Bu sesli ve görsel uyaranlar içinde özellikle konfeti patlaması ile gelen alkış seslerine, bazı çocukların gülerek ve alkış yaparak her defasında eşlik etmesi paha biçilemez bir güzellikti. Her mod için belirli sayıda doğru cevap sayısı, oyunun uzun ve sıkıcı olmayacağı şekilde belirlenmiştir. Bu doğru cevap sayısına ulaşıldığında bölüm sona erip bir tebrik paneli ekranda gözükmektedir. Yine yeşil, pozitif bir renk kullanılmış olup bu sahneden ekranda balonlar yükselmekte ve alkış sesleri duyulmaktadır. Bölümler sona erdiğinde oyuncu bir geçiş ekranına yönlendirilir. Burada tüm oyunların oynanmasını sağlamak amacıyla oynanan mini oyunlar listeden çıkarılır ve geriye kalan oyunlar gösterilir. Tabi ki her zaman ekranda bulunun geri tuşu ile yine tüm bölümlere erişmekl de mümkündür. Oyun tasarlanırken çocukların ilgisini çekecek objeler, resimler ve sesler tercih edilmiştir. Direkt etkileşime geçilen nesneler haricindeki objelerin tasarımı ise yine hoş ama sade tutulmuştur. Özellikle otizm spektrum bozukluğuna sahip çocukların dikkat problemleri yaşadığı bilinmektedir. Ek olarak bazen, bazı şekillere de odaklanıp uzun süre geçirdikleri olabilmektedir. İşte bu sebeplerin önüne geçip, tüm çocukların dikkatini oyunun mekaniklerine çekmek için böyle bir yöntem izlenmiştir. Oyun tasarlanırken, bu eğitim methodlarına yer verilmesinin yanı sıra, aratırma oyunu projesi olduğu için birinci önceliğimiz eğitmek değildi. Buna rağmen velilerden oyunu çocukları için çok bilgilendirici olduğu geri dönmüşlerini de aldık. Her çocuk grubundan çocukların oyunu hem eğlenerek, hem de bilgilenerek oynaması fazlaca ilham verici ve mutlu ediciydi. Oyun ailelerle paylaşılırken ailelere ve öğretmenlere gerekli bilgilendirmeler hem direkt hem de yazı ile bildirilmiştir. Proje kapsamında hazırlanan bu oyun için, çocukların ilgilerini kaybedinceye kadar oyunu oynamaları istenmiştir. Çocuk artık oynamamaya başladığında, yeterli veri de elde edildiğinden aileden verileri göndermesi ve oluşturulan anketi doldurması istenmiştir. Salgın ve karantina dönemine denk geldiğimizden dolayı, çocuklara direkt olarak erişim sağlanılamadı, bu yüzden de ham oyun verileri tek başına yetersiz olduğundan, her çocuğun oyuna tepkisini de direkt göremediğimizden ankette bunu anlayacak sorulara yer verilmiştir. Ailelerin kolayca erişebilmesini sağlamak amacıyla oyun, hem Android uygulama mağazasına hem de iOS uygulama mağazasına yüklendi. Daha sonra hem yakın çevredeki aileler hem de iletişimde olduğumuz özel eğitim okulunun eğitimcileri aracılığı ile çocukların ailelerine ulaşılıp oyun gönderildi. Oyun süresinde belirli veriler sürekli olarak kaydedildi ve bunlar tarafımıza iletildi. İlk aşaması bu tezin konusunu belirleyen bu büyük çalışmada, değişik özellikteki çocuk gruplarının oyundaki karakteristiği ve performanslarının incelenmesi planlanmıştır. Öte yandan oyun modları, toplanan veriler ve daha geniş kapsamlı incelemeler sağlayacak oyunun ilk versiyonu bu tez kapsamında sunulmuştur. Oyunlar sonunda toplanan veriler ile Weka3 programı aracılığı ile sınıflandırma analizleri yapılmıştır. Random forest ve single layer perceptron metotları kullanılması uygun görülmüş olup, bu proje kapsamında son derece başarılı kabul ettiğimiz yüzde 88.88'lik doğru sınıflandırma elde edilmiştir. Proje devamı niteliğinde oyuna çoklu diller eklemek, ve diğer ülke pazarlarına da servisi sağlanıp daha çok veri elde etmek planlanmaktadır. Çeviri çalışmaları ve topluluk arayışları şimdiden başlayan bu projeye olan inanç şimdiden elde ettiğimiz verilerle daha da artmaktadır. Kapsam genişlediğinde ve elde edilen veriler arttığında, daha net sonuçlar elde edilip bir de makale yayınlama çalışmamız olacaktır. Son olarak, bu beklenmedik koşulları yaşadığımız bir dönemde, kısıtlı kişi ve verilerle de olsa hazırlanan oyunla, hem normal gelişimini tamamlamış, hem de otizm spektrum bozukluğu bulunan çocukların oyunumuza verdiği güzel tepkileri ve oyunu oynarkenki heyecanlarını görmek, tanık olmak ve anket raporlarından okumak çok ilham verici ve destekleyici oldu. Projeyi ileri götürme konusunda büyük bir moral ve enerji oldu.