Yinelemeli sinir ağları ile işaret dili tanıma

Abstract

İşaret dili sağır ve konuşma zorluğu olan bireylerin iletişim için kullandıkları dildir. Günümüzde işaret kullanımı fazla olmasına rağmen işaret dili öğrenmenin zorluğundan dolayı işaret dili bilen birey sayısı oldukça azdır. İşaret dili tanıma işaret dili öğrenme zorunluluğunu ortadan kaldırarak iletişimin arttırılmasını amaçlar. Ancak işaret dili tanıma zorlu bir problemdir. Çünkü işaretler el ve vücut hareketleri ve hatta yüz ifadeleriyle ifade edilir. Aynı zamanda işaretlerin birbirine benzemesi ve yapan kişiye göre farklılık göstermesi de işaret dili tanımanın zorlukları arasında sayılabilir. Son yıllarda özellikle derin öğrenme alanındaki çalışmalar artmıştır. GPUların da gelişmesiyle birlikte hesaplama gücü artmış bu da derin öğrenme alanındaki çalışmaların hızlanmasına yardımcı olmuştur. Günlük hayattaki birçok problemin çözümünde derin öğrenme kullanılmaktadır. İşaret dili tanıma problemini çözmek için de derin öğrenme algoritmaları kullanılmaktadır. İşaret dilini tanıma diğer insan ve bilgisayar etkileşimi için önemli olan bir diğer konu olan eylem tanımadan daha karmaşık bir konudur. Çünkü işaret dili anlatımının düzgün yapılabilmesi için el hareketleri ve mimiklerin daha açık bir şekilde ifade edilmesi gerekir. Literatürdeki bir çok çalışma işareti yapan kişiye ve işaretin yapıldığı ortama bağımlı olarak yapılmaktadır. İskelet anahtar noktalarının kullanımı bu bağımlılıkları tamamen ortadan kaldırmasada işaret dili tanımayı bu şartlara daha az bağımlı kılar. Bu çalışmada RGB videolardan elde edilen iskelet anahtar noktaları kullanılarak yinelemeli sinir ağları olan uzun kısa süreli bellek, kapılı tekrarlayan hücre modelleri kullanılarak işaret dili tanımlama amaçlanmıştır. İskelet anahtar noktaları sadece el ve kol üzerinden alınmış yüz ve vücut iskelet anahtar noktaları bu çalışmanın kapsamı dışında tutulmuştur. Her iki modelde zamana bağlı değişkenleri daha iyi modellemek adına iki yönlü olarak oluşturulmuştur. Aynı zamanda ezberleme ve gradyen kaybolması problemini çözmek adına düğüm seyreltme , katman normalizasyonu yöntemleri kullanılmıştır. Modellerin işaret dili tanımadaki performansları , GPU kullanım verileri ve hesaplama verimliliği karşılaştırılmıştır. Modelin performansı Türkçe işaret dili dataseti olan AUTSL üzerinde 50 işaret üzerinde denenmiş ve sonuçları paylaşılmıştır. Yapılan eğitimler sonucu Uzun kısa süreli bellek modelinin daha kısa sürede daha iyi doğruluğa ulaştığı görülmüştür. Ancak GPU kullanım değerlerine bakıldığına Kapılı Tekrarlayan Hücrenin daha düşük maliyetlerle çalıştığı gözlemlenmiştir.