Yapay Öğrenme Yöntemleri İle Otizm Spektrum Bozukluğu Olan Öğrencilerin Öğretiminin Ve Öğretim Performansı Tahmininin İyileştirilmesi

Abstract

Otizm Spektrum Bozukluğu (ASD – Autism Spectrum Disorder) teşhisi alan çocuk sayısı son zamanlarda büyük artış göstermiştir. Internet Teknolojileri’ndeki ilerlemeler sayesinde ise bilgisayarla öğretim sistemlerinin kullanımı ve dolayısı ile bu yolla toplanan verilerin çeşitliliği, miktarı ve kalitesi artmıştır. Bu tez kapsamında, öncelikle ASD’li çocukların öğretiminde kullanılabilecek web tabanlı bir yazılım üretilmiştir. Daha sonra öğrencilerle yapılan öğrenim uygulamalarından elde edilen veriler üzerinde aktif yapay öğrenme, gürültülü verileri giderme, sınıfları dengeleme yapay öğrenme teknikleri kullanılmıştır. Tez kapsamında geliştirilen yeni bir aktif yapay öğrenme tekniği ile önceki öğrenme oturumlarının verileri kullanılarak bir sonraki oturumda ne öğretilebileceği belirlenmiştir. Yine tez kapsamında geliştirilen ve gürültü temizleme ve sınıf dengelemeyi aynı zamanda yapan bir yöntemle, öğretim sırasında öğrenci başarım ve süre performansını tahmin eden bir yöntem geliştirilmiştir. Bu tez otizm spektrum bozuklukları (ASD – autism spectrum disorders) olan çocukların eğitiminde yapay öğrenme (ML – machine learning) teknikleri kullanılarak çocuklara bir nesne tanıma görevi öğretilirken performanslarının öngörülmesine yönelik ilk girişimi yansıtmaktadır. Otizm genelde öğrenme bozukluğuyla ilişkilendirilir. ASD'li insanların yaklaşık %70'inde belli bir dereceye kadar öğrenme bozukluğu mevcuttur. Dolayısıyla bu kişiler çoğu insanla aynı şekilde öğrenemez ve bir kavramı öğrenmeleri için eğitimlerinde özel yöntemlerin izlenmesine ihtiyaç vardır. Bu tezde davranış modelleri ile ML modelleri birlikte kullanılarak bu çocukların daha iyi öğrenmeleri için ML tekniklerinden faydalanmalarının mümkün olup olmadığı araştırılmıştır. Aktif makine öğrenimi (AML – Active Machine Learning) teknikleri, ML modelinin öğrenme sırasında kullanılacak örnekleri seçmesine olanak tanıyarak modelin daha az sayıda etiketli eğitim verisi ile daha iyi işlev görmesini sağlamaktadır. AML, video etiketleme ve internet sayfası sınıflandırması gibi farklı alanlarda kullanılmış olsa da, insan öğrenmesi üzerindeki uygulamalarına yönelik araştırmalar kısıtlıdır. Bildiğimiz kadarı ile ASD'li çocuklara eğitim vermek için AML tekniklerinin kullanılması üzerine bir araştırma mevcut değildir. Bu tezin ilk kısmında ASD'li çocuklara eğitim verilmesi konusunda bir AML yaklaşımı benimsenmesi önerilmiş ve bu çocuklar için nesne tanınmasının öğretilmesinde pasif öğrenme (PL - Passive Learning) ve AML tekniklerinin etkililikleri karşılaştırılmıştır. AML yaklaşımı çocuklara bir dizi nesnenin öğretilmesi için, çocuğun daha önceki eğitim seanslarında aynı kategoride ya da zorluk seviyesinde olan nesneler tanıma sırasında gösterdiği performansı hesaba katan bir yöntem sunmaktadır. Önceki eğitimler sırasındaki performans, çocuğun bilip bilmediği, ne kadar sürede cevap verdiği ve kaç defa yönergenin sesli olarak tekrar edilmesini istediği bilgilerinin hepsini içerecek şekilde değerlendirilmiştir. Bu doğrultuda internet ve dokunma tabanlı bir uygulama geliştirilmiş ve bir tablet bilgisayar üzerinde sunulmuştur. Çocukların günlük hayatlarından nesneler kategorilerine ve dört zorluk derecesine göre gruplara ayrılmıştır. Öğretme prosedürü için ASD'li her yaştan insan için etkili olduğu bulunan uygulamalı davranış analizi (ABA – Applied Behavioral Analysis) prensipleri temel alınmıştır. Uygulama çocuğun hata yapmasına izin vermemektedir. Eğer çocuk doğru seçeneği bulamamış ise, sunulan resimler üzerinde çeşitli etkiler ile (yanlış resmin küçültülmesi, doğru resmin sallanması gibi) çocuk doğru seçeneğe yönlendirilmektedir. Çocuğa bulması gereken nesne sesli olarak bildirilmektedir. Doğru ya da yanlış cevap vermesi durumunda, doğru cevabı pekiştirecek ve doğruyu ödüllendirecek sesli uyarılar içermektedir. Araştırmaya hafif ve orta derecede ASD'si olan beş çocuk (1 kız, 4 erkek) katılmıştır. Katılımcıların yaşları 5 ile 9 arasındadır (ortalama: 7,16; standart sapma: 1,1). Katılımcılar Filistin'de ASD'li öğrencilere eğitim veren iki okuldan seçilmiştir. AML ve PL'nin etkilerinin karşılaştırılması için tek denekli araştırma yöntemleri şeklinde tasarlanan eğitimler değişmeli olarak uygulanmıştır. Çalışma İstanbul Teknik Üniversitesi (İTÜ) Etik Kurulu tarafından onaylanmıştır. Sonuçlar AML'nin araştırmamızdaki beş öğrencinden dördü için pasif öğrenmeden daha etkili olduğunu göstermiştir. Sonuç olarak bu öğrenciler bir öğrenme kriterine ulaşmak için gerekli öğrenme denemelerine daha az ihtiyaç duyarak daha hızlı öğrenebilmiştir. Bu tezde tanımlandığı şekliyle önerilen AML sadece ASD’li bireylerin eğitiminde kullanılmakla sınırlı değildir, başka eğitim alanlarına da uygulanabilir. Tablet bilgisayarlar, özellikle anında geri bildirim sağlamaları ve öğrenme sürecindeki ara adımlar hakkında geniş bilgi tutma imkanları sayesinde öğretimin geliştirilmesi açısından etkili eğitim araçları olabilmektedir. Tezin ikinci kısmında öğrenme seansları esnasında, tez kapsamında geliştirilmiş olan bir web tabanlı internet uygulaması tablet bilgisayarlar üzerinde kullanılarak, toplanan veriler analiz edilmiş ve görselleştirilmiştir. Analiz sonuçları sayesinde deney yapılan ASD'li öğrencilerin nesne sınıflandırmasına ilişkin açıklamalar sunulmuştur. Kategorilerin aşinalığı, zorluk seviyeleri, nesnenin görüntüsünün konumu ve diğer nesnelerle olan benzerliği gibi birçok faktör öğrencinin tepkisini etkileyebilir. Çalışmamızda tepki süresi ile öğrencilerin performansları arasında güçlü bir negatif korelasyon olduğu saptanmıştır. Aynı zamanda pozitif tepkilerin negatif tepkilerden daha hızlı verildiği gözlemlenmiştir. Bu bulgular ile öğrencilerin öğrenme süreçleri izlenerek öğrenmenin her bir öğrenci için kişiselleştirilmesi sağlanabilecektir. Son olarak da ASD'li öğrenciler için ileride geliştirilebilecek uygulamalara yardımcı olabilecek önerilerde bulunulmaktadır. Tezin üçüncü kısmında ASD'li öğrenciler yukarıdaki nesne tanıma görevini öğrenirken performanslarının öngörülmesi için makine öğrenimi tekniklerinin uygulanması tavsiye edilmektedir. Öğrenciler için geliştirilmiş olan internet uygulamasından elde edilen gerçek veri kümesinde doğru etiketi (öğrencinin bir sonraki soruyu bilip bilmeyeceği ve ne kadar sürede bileceği) tahmin etmek için sınıflandırma modellerinin yeterliliğini olumsuz bir şekilde etkileyebilecek iki büyük problemin olduğu görülmüştür: sınıf dengesizliği ve sınıf gürültüsü. Hem sınıf gürültüsünün hem de sınıf dengesizliğinin uyarılan sınıflandırıcılar üzerindeki etkisinin azaltılması ile öngörü sonuçlarının iyileştirilmesi için yapılan farklı araştırmalar vardır. Dengesiz sınıflandırma problemini çözmek amacıyla verilerin tekrar örneklenmesi ve maliyete duyarlı öğrenme yaklaşımları uygulanmıştır. Sınıfın çoğunluğuna göre sınır bölgesi içerisinde bulunan gürültülü durumların ortadan kaldırılması için iki yöntem tavsiye edilmiştir. Tez kapsamında geliştirilen yöntemlerde, verilerde sentetik azınlık aşırı örneklendirme tekniği olan SMOTE (synthetic minority over-sampling technique) ile eşik tekniği kullanılarak eğitim verilerinin dengelenmesi ve sınıflar arasındaki en iyi sınırın seçilmesi sağlanmaktadır. Daha sonra gürültülü durumların belirlenmesi için bir gürültü tespit yaklaşımı uygulanmıştır. İlk yöntemde gürültülü durumların belirlenmesi için sınıflandırma filtresi (classification filter - CF) kullanılırken, ikinci yöntemde toplu filtre (ensemble filter - EF) kullanılmıştır. İki deneydeki en iyi sonuçlar üçüncü deneyde yalnızca önceki seanstaki deneyler ile öğrencilerin ilerideki deneydeki doğru yanıtlarının öngörülmesi için kullanılmıştır. Farklı sınıflandırma algoritmalarının sonuçları önerilen CF ve EF bazlı iki yöntemin daha önceki çalışmalarda kullanılan sınıf dengesizliği tekniklerine göre başarım açısından önemli ilerlemeler sağladığını göstermektedir. Ayrıca verisinde çok sayıda gürültülü örnek olan bir öğrencinin verileri veri kümesinden tamamen çıkarıldığında, sınıflandırma yöntemleri daha da etkili olmuştur. Farklı sınıflandırıcılar kullanılan deneylerde, en iyi sınıflandırıcı rastgele orman sınıflandırıcısı olmuştur. Rastgele orman sınıflandırıcısı ortalama olarak lojistik regresyon (LR), destek vektör makineleri (DVM) ve LR sınıflandırıcısı kullanan Adaboost yönteminden daha etkili sonuçlar vermiştir. Özelliklerin önemi üzerine yapılan bir analiz, tepki süresi ve nesnenin seviyesinin bir öğrencinin performans tahmininin doğru olmasında en etkili olduğunu göstermiştir. Bu tezin katkıları şu şekilde özetlenebilir: 1- Bu yazımın yapıldığı sırada, ASD’de olan öğrencilerin eğitiminde aktif yapay öğrenme (AML) tekniklerinin kullanıldığı ilk çalışmadır. 2- Yapılan tez çalışması sonucunda oluşturulan yöntemlerle öğrencilerin bilgi öğrenme performanslarının diğer yöntemlere göre daha iyi arttığı gösterilmiştir. Bu yöntemler ASD’li öğrencilerin öğrenme süreçlerini iyileştirme amacı ile kullanılabilir. 3- Tez çalışması sırasında bir çocuğun günlük hayatında gördüğü nesnelerin değişik zorluk seviyelerine göre sınıflandırıldığı bir görüntü veri kümesi oluşturulmuştur. 4- Kullanımı kolay web tabanlı bir uygulama tasarlanmış ve üretilmiştir. Bu uygulama öğrenci, ebeveyn ve öğretmenin beraber çalışarak bilgisayarla öğretim yöntemlerini kullanabileceği bir ortam oluşturmuştur. 5- Geliştirilen verideki gürültülü örnekleri bulup eleyen filtreleme yöntemlerinin veri kalitesini ve başarım performansını arttırdığı gösterilmiştir. 6- Gürültü giderme yöntemleri sınıf dengesizliğini giderme yöntemleri ile bir arada kullanılarak başarım performansı daha da arttırılmıştır.

The number of children diagnosed with autism spectrum disorders (ASD) is on the rise. Thanks to the advances in IT technology the use of computerized teaching systems and hence the variety, quality and quantity of data collected with them has increased. This thesis introduces a web- based teaching tool tailored for ASD students. Then, machine learning techniques, such as active machine learning (AML), noise elimination and class balancing, are applied on the collected student learning data. Using a new AML method, a method of planning what will be taught at the next session based on previous session performance is introduced. Using a new noise elimination and class balancing method to predict student performance during teaching is also devised. The thesis represents the first attempt to use machine learning techniques for teaching students with ASD. AML technique enables a machine learning model to perform better with less labeled training data by allowing it to choose the training instances. Although AML has been studied in different domains, such as video annotation and web page classification, its applications to human learning have been studied very little. To the best of our knowledge, there is no research on using AML for teaching children with ASD. In the first part of this thesis, we propose an AML approach for teaching students with ASD, and compare the effectiveness of passive learning (PL) and AML on teaching object recognition for those students. AML approach presents to the child the most informative teaching set of objects. For this purpose, a web and touch-based application was developed and presented on a tablet PC. Objects from everyday lives of children were grouped based on their categories and difficulty levels. The teaching procedure was based on applied behavioral analysis (ABA) principles. The study was approved by the Ethics Board of Istanbul Technical University (ITU). Five children with mild to moderate levels of ASD participated in the experiment. An alternating treatments design of single subject research methods was used to compare the effects of AML and PL. The results indicate that AML was more effective than PL for four out of the five students. Consequently, children can learn faster and are able to reach a learning criterion with fewer teaching trials. The second part of the thesis presents an analysis and visualization of the data collected using the web application during the learning sessions. The results of the analysis were interpreted and they provided us a better understanding about object categorization for students with ASD. A number of factors influence a student's response including familiarity of categories, difficulty levels, the location of object's image and similarities with the other objects. The findings help us enhance the teaching process and monitor student’s learning progress and then personalize learning for each student. Due to several features for tablet PC, we suggest that the tablet is an effective educational tool to enhance teaching for the students. Finally, we offer suggestions that may help in future applications that can be developed for students with ASD. In the third part of this thesis, we propose to apply machine learning techniques to predict the performance of students with ASD while they learn tasks described above. The real dataset, gathered from the web application for the students, suffers from two major problems that can negatively impact the ability of classification models to predict the correct label: class imbalance and class noise. A series of experiments have been carried out to improve prediction results through reducing the effect of both class noise and class imbalance on the induced classifiers. In the first experiment different approaches have been applied in order to resolve the problem of imbalanced classification by data re-sampling methods and cost-sensitive learning. In the second experiment, two methods were proposed to eliminate the noisy instances, located inside the borderline area, from the majority class. Our methods combine over-sampling SMOTE technique with thresholding technique to balance the training data and choose the best boundary between classes. Then we apply a noise detection approach to identify noisy instances. The best results from the two experiments were used in the third experiment to predict the response correct of the students’ future trial using only the preceding session’s trials. Results for different classification algorithms showed that the two proposed methods achieve significant improvements in terms of the AUC (Area Under the ROC Curve) metric with respect to the existing techniques used for class-imbalance problem. Moreover, our prediction methods performed better when data of a student, who has a lot of noise, were excluded from the dataset. The most robust classifier over our methods was random forest. It performed better on average than logistic regression (RL), Support vector machine (SVM) and Adaboost with LR. The contributions of this thesis are as follows: 1- At the time of writing, this is the first study of using AML to teach students with ASD. 2- The research results enhanced education outcomes and student’s recognition abilities, and thus can improve the learning process of a student with ASD to reach better results. 3- The thesis provides a dataset of a real-world images for the most common categories of concrete objects in daily life of a child. 4- We develop and implement a user-friendly web-based application, which presents a customizable and efficient tool enabling the child, parents and caregivers to work together through the computerized learning methods. 5- We propose to use machine learning filtering techniques on students’ learning data to improve the quality of the data. 6- The prediction results have significantly improved when our proposed methods are combined with class-imbalance approaches.