Türk İşaret Dili İçin İnsansı Robotlar Üzerinde Vücutlandırma Çalışmaları

Abstract

Bilgisayar simulasyonları gerçek dünyada olan olayları modellemek ve görselleştirmek amacıyla sıkça kullanılmaktadır. Deprem, yangın, savaş gibi felaket senaryolarının sanal ortamda olası sonuçlarını gelişen teknoloji ile görselleştimek mümkün olmaktadır. Bu tip olayların gerçek dünyada tekrarlanmaları mümkün olmadığından simulasyon ortamında gözlemleyerek gerekli önlemlerin alınması gerekmektedir. Bu senaryoların dışında simulasyon programları robotik çalışmalarında da kullanılmaktadır. Günümüzde robotik cihazların çok pahalı olması, bu cihazlarda oluşabilecek istenmeyen kazaları önlemeyi de önemli hale getirmektedir. Aynı zamanda simulasyon ortamları robottan bağımsız olarak birden fazla kişinin aynı ya da farklı projelerde gerekli çalışmaları daha kolay bir şekilde yapabilmelerine de olanak sağlar. İşitme engelli insanlar ile anlaşabilmek için işaret dili ortak bir alan oluşturmaktadır. İşaret dili el, kol, yüz ve baş hareketlerinin birleşiminden oluşan görsel bir dildir. Sözlü olarak iletişim kuramayan insanlar için doğal bir iletişim aracıdır. Otizmli ya da işitme engelli insanlarla iletişim kurabilmek için kullanılan işaret dili eğitiminde günümüzde insansı robotlardan da yararlanılmaktadır. İşaret dili görsel bir dil olduğundan bu alanda kullanılan insansı robotlarda hareketleri gerçeklemeden önce simulasyon ortamında gerçeklemeyi de önemli hale getirmektedir. İşaret dili hareketleri sırasında insanlar el, kol,yüz ve baş hareketlerini çokca kullanmaktadır. Bu hareketlerin robota aktarılmadan önce 3 boyutlu bir simulasyon ortamında gözlenmesi, fiziksel robotun hareketleri gerçeklerken kollarının vücuduna ya da birbirine çarpmasını önlemek için gereklidir. İşaret dili eğitiminde kullanılan araç sayısı azdır. Bu çalışma "İşaret Dili Gerçekleme" Tubitak projesinin bir parçası olarak, çalışmada kullanılan Robovie R3 robotuna simulator kazandırmak ve bu sayede işaretlerin gerçeklenmesini ve robota aktarılmasını kolaylaştırmak amaçlanmaktadır. Çalışmada simulatörün işaret dili hareketlerini gerçekleme başarısı gözlemlenmiş ayrıca bu hareketlerin videoları kaydedilerek mobil bir oyun ortamında işaret dili bilen işitme engelli çocuklara oynatılarak test edilmiştir. Simulatörün hareketleri gerçekleme kalitesi bu sayede test edilmiştir. Robotları sanal ortamda simüle etmek için geliştirilmiş birçok fizik motoru ve simülasyon ortamı bulunmaktadır. Bu ortamlar incelenerek içlerinden açık kaynak kodlu Gazebo simulatorü bu çalışmada kullanılmak üzere seçilmiştir. Gazebo simulator ortamı, fizik motoru ve açık kaynak kodlu bir çok model içermektedir. Bu sayede gerçek ortamdaki nesnelerin ağırlık, düşüş etkileride gözlemlenebilmektedir. Hazır modeller çalışmada kullanılacak asıl model gerçeklenmeden önce ön çalışmaların yapılabilmesine de olanak sağlamaktadır. Projede kullanılan Robovie R3 insansı robotu standart R3 robotunun farklı bir versiyonudur. R3'nin 12 eklem açısına sahip kolları ve birbirinden bağımsız hareket edebilen 5 parmağı bulunmaktadır. Robotu kontrol edebilmek ve hareketleri gerçekleyebilmek için yazılımlar bulunmakta ama hiç biri 3 boyutlu bir görsel sunamamaktadır. Bu ihtiyacı gidermek için Gazebo ortamında R3 robotunun özelliklerine göre bir simulator yazılmıştır. Simulator için fiziksel R3 robotunun vücut ölçüleri hesaplanıp SolidWork ortamında 3 boyutlu modeli çıkarıldı. Gerçek robottan farklı olarak modelde parmaklar kullanılmadı. Bu model Gazebo ortamında kullanılan dosya formatına çevrildi. Modelin Gazebo ortamında kontrol edilebilmesi ve Türk işaret dili hareketlerinin gerçeklenebilmesi için "plugin" adı verilen C++ kütüphaneleri oluşturuldu. Model kütüphanesi(plugin) modelin gerçeklenen el,kol ve baş eklemlerini kontrol edip limitlerine göre oynatabilmektedir. Diğer yandan kullanıcının kolay kullanımı ve hareketleri kaydedebilmesi için grafik arayüz kütüphanesi(plugin) yazılmıştır. Bu plugin kullanıcıya görsel bir arayüz sunmaktadır. Kullanıcı arayüz üzerindeki kaydırıcılar(slider) ve döndürme kutularını(spinbox) kullanarak robotun açılarını kontrol edip oluşturmak istediği hareketin durumlarını (state) kaydedebilir, sonrasında oluşturduğu hareketi simulator üzerinde gözlemleyebilir ve fiziksel robota aktarmaya uygun formatta hareketin çıktısını alabilir. Hareketin çıktısı robotu kontrol etmek için kullanılan Roboviemaker2 yazılımına uygun şekle çevrilerek fiziksel robota aktarmadan son bir kontrol edilmesi sağlanmıştır. Bu format üzerinde durum(state) açıları gözlemlendikten sonra fiziksel robota aktarılabilir. Diğer yandan kullanıcı Roboviemaker2 programı ile üretilmiş dosyaları ya da daha önceden simulator ortamında gerçeklediği hareketlerin dosyalarını simulatore yükleyerek oynatabilir. Simulator ortamında kaydedilen hareketerin videoları android ortamında geliştirilen bir çatı yazılıma(framework) yüklenerek kullanıcılar üzerinde test edildi. Bu yazılım üç ana bölümden oluşmaktadır. İlk kısımda katılımcının ad, yaş, cinsiyet gibi demografik verileri alınır. Bu sayede testin yapıldığı katılımcı grubu analiz edilebilir. İkinci kısımda kullanılan uygulamaya göre eğitim kısmı bulunur ve uygulamayı kullanımı ya da uygulama içindeki işaretleri öğretilir. Son kısımda ise uygulamaya çoktan seçmeli sorular ile test yapılır. Bu yazılım ile araştırmacıların test yapabilmesi kolaylaştırılmıştır. Bu çalışma kapsamında da yazılımın bir versiyonu kullanıcılardan gerekli demografik datayı aldıktan sonra, çoktan seçmeli bir işaret dili testi ile simulator videolarındaki hareketleri kullanıcılara sormaktadır. Arka planda kullanıcıların doğru ya da yanlış seçimleri, seçim hızları gibi bilgiler değerlendirilmek üzere toplanmaktadır. İkinci bir versiyonunda ise işaret dili bilmeyen kişilere önce eğitim kısmında işaret dili kelimelerini işaret dili öğretmeni ve iki farklı robot platformunun videoları ile göstererek öğretir. Bu kısımda her hareketten sonra kullanıcıya robotların hangisinin hareketi öğretmeninkine daha benzer yapabildiği sorulur. Test kısmında ise öğretilen işaret dili kelimeleri robot platformları ile kullanıcıya sorulur. Bu versiyonda fiziksel robotların işaret dili üzerindeki performansları hakkında bize bilgi vermektedir. Bu çalışma kapsamında 4 temel test gerçekleştirildi. İlk olarak geliştirilen simulator ortamında Türk işaret dili hareketleri gerçeklendi. Hareketleri gerçekleme sırasında tutarlılık sağlamak için Türk işaret dili sözlüğü baz alındı. Geliştirilen simulatorde şimdilik robotun parmakları yapılmadığından, parmakların en az kullanıldığı hareketler seçildi. İkinci aşama olarak gerçeklenen hareketler Robovie R3 robotunun kullandığı dosya formatına çevirilerek fiziksel robota aktarıldı. İşaretlerin fiziksel ortamda gerçeklenmesi incelendi. Üçüncü olarakta simulator ortamında kaydedilen videoların eklendiği çatı yazılımı (framework) işaret dili bilen işitme engelli çocuklar ile test edildi ve simulatörün başarımı gözlemlendi. Son test olarakta iki fiziksel robotun işaret dili hareketleri üzerindeki performanslarının video kayıtları çatı yazılıma eklenerek karşılaştırıldı. Teslerde elde edilen sonuçlar simulatörün hareketleri gerçekleme ve proje kapsamında kullanılabilirliği üzerinde etkili olmuştur. Hareketlerin normalde kullanılan yöntemlerden daha hızlı ve düzgün bir şekilde gerçeklenip robota aktarılabildiği görüldü. Bu sonuçlar gelecekteki çalışmalar için bizi motive etti. Bir sonraki çalışma olarak Robovie R3 robotunun parmakları ve tekerleklerinin simulator ortamında gerçeklenmesi ve daha karmaşık hareketlerin yapılabilmesi amaçlanmaktadır.

Visualizing real world in computer simulations has an essential role in analysing the complex situations. Working with physical devices can be hard and expensive because of unwilling damages and costs. Simulating cases and actions improve the success of projects. Especially in robotic projects, simulators have vital role to prevent accidental damages. Simulators also provide low cost training environments, so more people can study on it. Humanoid robots are widely used in education area and also for therapy of autism. Researcher try to find a common ground to communicate with hearing impaired people and people who have autism. Sign Language provide a common layer for people who can not speak verbally. This work is part of an ongoing project which aims to actuate humanoid robots as sign language tutoring assistance. Main goal of the project is to help children with communication problems, particularly children with Autistic Spectrum Disorder and hearing impaired children. Our Humanoid robot Robovie R3 does not have a 3D simulator, so this study mainly focus on creating a 3D simulator for our robot and examining success of it on performed sign language words. There are lots of developed physic engines and simulation environments to visualize projects in computers. Gazebo simulator is an open source improved one and provides many futures. Modelling actions in simulators and transferring them safely to physical world increase success and decrease actual time in projects. Benefits of simulators and necessity of creating Robovie R3 simulator motivate us to develop a simulator on Gazebo environment. It is capable of moving arms and head which is basically enough to sign TSL (Turkish Sign Language) words. In this study, two sub projects are developed. First one is Robovie R3 simulator on Gazebo environment. It can create motion files and convert them to transfer physical robot. TSL words are performed and saved as motion files on Robovie R3 simulator. In this way both a virtually embodied 3D R3 robot can be created, and also its actions can be transferred to a physical embodied R3 robot. Other project is an android based application, which provide a survey and test environment to examine the quality of showed signs on Robots and simulator and by that means, can serve as a tool to compare and test the effects of different embodiments of the humanoid robots in sign language tutoring. It can be modified to collect data in other projects. The overall scenario includes three experiment modes. In first mode, TSL words are created in Roboive R3 simulator and played in 3D environment. Collisions on signs are seen and they are fixed to protect physical robot. Performed TSL words are saved as motion files. In second mode, saved files converted to Roboviemaker2 format which is proper to play on physical robot. Than these signs transferred to physical Robovie R3 robot and analysed to measure the success of Robovie R3 simulator. In last mode, performed signs are recorded on simulator environment and added to android based game environment. This game is played by hearing impaired primary school students which have advanced sign language skills. They solved the sign test and results are quite promising and motivate us for future studies.