Dilsizler İçin Konuşmaya Yardımcı Sistemler

Abstract

Bu çalışmada dilsizlerin sesli konuşmasına yardımcı olmak amacıyla geliştirilmiş bir sistem tanıtılmıştır. Sistem dilsizlerin işaret diline benzer bir şekilde, önceden tanımlanmış parmak hareketlerini yaparak kodladıkları kelimeleri sese çevirmektedir. Kullanıcı, söylemek istediği kelimeyi kodlamak için parmak hareketlerini yaparken kolunda oluşan EMG (Electro Miyogram) işaretleri ön kola bağlanan dört çift elektrot aracılığıyla sistemimize alınmaktadır. Bu çalışmada öncelikle EMG yi koldan alıp süzme ve kuvvetlendirme yaptıktan sonra sayısal olarak bilgisayar ortamına aktaran kuvvetlendirici tasarlanmıştır. Alınan EMG işaretini tanımak amacıyla YSA (Yapay Sinir Ağı) ve HMM (Hidden Markov Modeli) kullanan bir çeşit HHMM (Hybrid HMM) modeli kullanılmıştır. Sistemde her kelime iki el işaretinden ve her cümlede üç kelimeden oluşmaktadır. Şu an için tanınan hareket sayısı 14 ve tanınan kelime sayısı 214 kadardır. Başarım oranı %80 civarındadır. Literatürde işaret dilini tanımak amacıyla geliştirilmiş pek çok çalışma mevcuttur. Bu sistemlerin çoğu işaret dilini algılamak için ya veri eldiveni ya da video kamera kullanmaktadır. Bu yöntemler, özellikle video kameraya bağımlı olan sistemler, günlük hayatta çok kullanışlı olmayacaktır. Geliştirilen sistemin kullanım kolaylığı getireceği düşünülmektedir. Bu sistem işaret dilini algılamad EMG yi kullanması bakımından özgün bir çalışmadır.

The system described in this study is developed as a mean of voicy speaking tool for verballay impaired persons. The user of the system will try to tell what he want to say by making some hand signs (like in sign language) and these signs will be converted to the sound. While user making these hand signs, the resulting EMG signals will be captured by the device by means of four pairs of electrodes, bounded to the user’s fore arm. To develop the system, first we design the EMG amplifier which will be used to get the EMG signals from fore arm and to transfer it to the PC like system. For recognizing these EMG signals we used Neural Network and Hidden Markow Model together to make a combined Hybrid system (HHMM ). Each words are consist of two hand sign and each sentences consist of three words. Now the number of recognisable hand signs is 14 and recognisible word number are about 214. The recognition rate is 80%. In literature there are many work about sign language recognition systems. Most of them use a data glove or video imaging system for sensing the hand signs. These methods especially, the video camera dependent systems are not usefull in daily life. This study will be a unique system because of usage of EMG signal for sensing of hand signs.