Yüz İfadelerini Tanıma Sistemi Gömülü Sistem Tasarım Ve Uygulaması

dc.contributor.advisor Güneş, Ece Olcay tr_TR
dc.contributor.author Sümer, Ömer tr_TR
dc.contributor.authorID 10051394 tr_TR
dc.contributor.department Elektronik ve Haberleşme Mühendisligi tr_TR
dc.contributor.department Electronic and Communication Engineering en_US
dc.date 2014 tr_TR
dc.date.accessioned 2017-02-27T11:08:56Z
dc.date.available 2017-02-27T11:08:56Z
dc.date.issued 2014-09-17 tr_TR
dc.description Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014 tr_TR
dc.description Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2014 en_US
dc.description.abstract Sosyal sinyal işleme ve bilgisayarlı görü alanında, son yıllarda bir ölçüde sosyal bilimler ve davranış bilimleriyle ilgili yapılan çok sayıda çalışma dikkat çekmektedir. Duygu analizi, pazar eğilimlerini belirleme, karar verme mekanizmalarını anlama, sosyal ilişkiler ve ardında yatan sebepleri belirleme gibi konularda önemli bir potansiye barındırmaktadır. Duygu analizinde kullanılan tanımlayıcılar arasında en kullanışlı ve öne çıkanı, yüz ifadelerinin kullanılmasıdır. Bu tezde, otomatik yüz ifadelerinin tanınması konusunda son gelişmeler ve kullanılan yöntemler üzerine bir literatür araştırması yapılmış ve bu işlemi geçekleştirecek bir gömülü sistem çerçevesi oluşturulmuştur. Yüz ifadeleri konusunda temel yaklaşım, doğrudan durağan duyguların sınıflandırılması ya da hareket parçacıklarının sınıflandırılmasından duygulara geçiş yapılmasıdır. Bu çalışmada Ekman tarafından farklı kültür ve toplumlarda da ayırt edici özelliği ispat edilen temel duygu sınıfları kullanılmıştır. Yüz ifadelerinin sınıflandırılması temelde n sınıflı bir sınıflandırma problemidir. Yapılan literatür taraması sonucunda daha önce kullanılan yöntemler karşılaştırmalı olarak incelenmiştir. Problemin genel çerçevesi içerisinde, ön işleme, öznitelik vektörü çıkarma, sınıfladırma işlemleri uygulanır. Ön işlemede kullanılabilecek yöntemler incelenmiş ve Tan & Triggs normalizasyonu kullanılmıştır. Öznitelik vektörü çıkarma aşamasında ise, yerel ikili örüntü (YİÖ), yerel üçlü örüntü (YÜÖ) ve Gabor filtreleri yöntemleri karşılaştırmalı olarak ele alınmış olup standart veritabanları ve deneyler üzerinde performansları incelenmiştir.  Özellikle son yirmi yılda, yüz analizi çalışmalarının hız kazanmasıyla birçok veri kümesi ve stardart deney ortaya atılmıştır. Bunların birçoğu, laboratuvar kontrollü, sabit ışık altında, poz ve duruş  değişimi  bulunmayan veri kümesiyken, zaman içinde bu standart koşullar altında elde edilen veri ile oluşturulan sistemlerin gerçek dünya koşullarında beklenen doğruluk oranlarında çalışmadığı görülmüştür. Bu nedenle, internet ortamında belli kilit kelimelerle yapılan aramalardan döndürülen veya TV dizileri, filmler gibi multimedya kaynaklardan derlenen veri kümeleri, kullanılan yöntemlerin test edilmesi için daha gerçekçi bir ölçü sunmaktadır. Bu durum dikkate alınarak, kullanılan yöntemler her iki türden veri kümesi üzerinde de sınanmıştır.   Bu çalışmada, öznitelik vektörü olarak yerel ikili örüntü (YİÖ), yerel üçlü örüntü (YÜÖ) ve Gabor filtreleri, öğrenme aşamasında ise destekçi karar makineleri kullanılmış olup Geliştirilmiş Cohn Kanade , MMI yüz ifadeleri, JAFFE ve SFEW veri kümelerinde çeşitli deneyler yapılarak yöntemin başarısı sınanmıştır. Bunun yanında çeşitli filmlerden seçilerek oluşturulmuş SFEW veritabanı da kullanılarak sistemin başarısı nispi olarak gerçek dünya koşullarında ve ortam şartlarının değişiklik gösterdiği görüntüler üzerinde de ölçülmüştür.  Özellikle, öznitelik çıkarma aşamasında kullanılan Yerel ikili örüntü (YİÖ) ve yerel üçlü örüntü (YÜÖ) yöntemleri literatürde yüz ifadesi analizinde kullanılan diğer yöntemlere kıyasla oldukça başarılıdır. Bu başarının nedeni, ışık veya ortam değişimleri sebebiyle gerçekleşen monoton gri seviye değişimlerinin olumsuz etkisini azaltması ve hesaplama anlamında kolaylığında yatmaktadır. Hesaplama kolaylığı özellikle yüz ifadeleri analizi gömülü sistem üzerinde yapıldığında önem kazanmaktadır. Hedef platformların işlem kapasiteleri daha karmaşık yöntemler kullanıldığında öznitelik vektörü çıkarılması aşamasında zaman kaybına sebep olduğundan nihai olarak oluşturulacak sistem video üzerinde akıcı olarak çalışmamaktadır.  Diğer veri kümelerinden farklı olarak gerçek koşullara yakın nitelikteki SFEW veritabanında, yerel ikili örüntü (YİÖ) ve destekçi karar makineleri ile yedi sınıf doğruluğu %59.76 olarak elde edilmiştir. Bu noktada, yapılacak yeni çalışmalarda yöntemlerin sınanması için standart koşullarda elde edilen görüntülerin yanı sıra, gerçek ya da gerçeğe yakın koşullarda elde edilen görsel verinin kullanılması gerektiği görülmüştür.  Deneysel sonuçlara bakıldığında, yerel üçlü örüntü (YÜÖ)  ve destekçi karar makineleri kullanılarak Geliştirilmiş Cohn Kanade veritabanı üzerinde  öfke, mutluluk ve şaşırma ifadeleri sırasıyla %97.78, %100 ve %97.59 başarıyla sınıflandırılmıştır. Benzer şekilde, yerel ikili örüntü (YİÖ) ve Gabor filtreleri de kullanılan veritabanları üzerinde çeşitli deneylerde kullanılmıştır. Örneğin; 5 ölçek ve 7 yönde uygulanan Gabor filtresi diğer yöntemlere yakın başarı göstermesine rağmen zaman yönünden gömülü bir uygulamada kullanıma uygun olmadığı görülmüştür.  Diğer yandan, bu çalışmanın en önemli taraflarından biri, yüz ifadelerinin sınıflandırılması gibi güncel ve kullanım alanı çok geniş olan bir probleme gömülü platformlarda çözüm ortamı oluşturmasıdır. Nitekim, yüz ifadelerinin sınıflandırılması doğası gereği mobil çözüm imkanlarını gerektirmektedir. Gömülü linux sistemler, SoC platformlar ve FPGA'lar kullanılarak yapılan çalışmalar incelendiğince yüz ifadelerinin analizini konu alan oldukça az sayıda çalışma olduğu görülmektedir. Bilgisayar ortamında yapılan deneylerin yanı sıra, yüz ifadelerinin otomatik olarak sınıflandırılması  Xilinx SoC geliştirme kartında linux (Linaro Ubuntu) işletim sistemi üzerinde C++/OpenCV geliştirme ortamı kullanılarak hem statik görüntüler, hem de videolar üzerinde gerçeklenmiştir. Gömülü sistemde, daha önce incelenen yöntemler arasından geometrik ve Tan & Triggs normalizasyonu, yerel ikili örüntü (YİÖ) ve destekçi karar makineleri kullanımıştır. Gömülü sistem uygulamasında, Geliştirilmiş Cohn Kanade veritabanındaki yüz ifadesi etiketi bulunan 327 resim kullanılarak oluşturulan destekçi karar makinesi modeli kullanılmıştır. Öte yandan, gömülü sistem üzerinde yapılan örnek uygulamada da kullanılan YİÖ öznitelik vektörleri test resimleri üzerinde uygulanarak zaman performansı ölçülmüştür. Geliştirilen örnek uygulama hem bilgisayar ortamında, hem de kullanılan gömülü sistem platformunda çalıştırılmış ve yedi sınıflı yüz ifadeleri analizi başarıyla gerçekleştirilmiştir. Özellikle mutluluk, öfke, şaşırma ve mutsuzluk sınıflarının daha başarılı şekilde sınıflandırıldığı görülmektedir. Bu çalışmada, daha önce gömülü platformlarda gerçeklenen yüz ifadelerini tanıma sistemleri karşılaştırmalı olarak incelenmiş ve bunlardan farklı olarak kendi gömülü sistem çerçevemiz sunulmuştur. Önerilen sistem ile, durağan resimler ve hareketli videolar üzerinde yüz ifadelerinin analizi yapılabilmektedir. Xilinx SoC geliştirme kartında linux işletim sistemi çalıştırılmış ve bir C++/OpenCV uygulaması ile sistem gerçeklenmiştir. Bu uygulama ile statik görüntüler ve video üzerinde yaklaşık olarak saniyede 4-5 görüntü hızında,  yüz ifadeleri tanıma işlemi gerçekleştirilmiş ve zaman performansı açısından oldukça iyi sonuçlar elde edilmiştir. tr_TR
dc.description.abstract In social signal processing and computer vision, there has been increasing number of studies which are related with social and behavioural sciences to some extent in last years. Affective state of human has very significant potential in many application areas such as evaluating market trends, understanding the decision-making, interpreting social interactions and their underlying background, and so on. Among the agents that make our emotions understandable, the facial expressions are the most prominent and descriptive sign of a humans's affective state. This thesis presents a literature survey on the state-of-the-art of facial expression recognition, comparison of different approaches in automatic analysis of emotions, and proposes a new embedded framework for facial expression recognition problem. Although there have been large number of studies in facial expression recognition, the number of ``affective'' embedded systems are fairly scarce. In this study, an efficient embedded framework is implemented on a system-on-chip (SoC) development board. Many application areas of facial expression recognition systems necessitate the mobility, and embedded platforms which have both hardware and software development tools, as well as low power consumption and increased adaptivity.  In this study, different feature extraction methods such as local binary pattern (LBP), local ternary pattern (LTP) and Gabor filters are compared using different extraction strategies and varied kernel functions and parameters in  learning phase, support vector machines (SVM). In embedded framework of facial expression system, local binary patterns and support vector machines-based methodology is preferred, because of its higher accuracy and time performance.  Besides OpenCV implementation on embedded linux operating system, Zynq-7000 all programmable SoC is used to measure the performance of LBP feature extraction. Our final system has capable of facial expression recognition in both static images and video sequences at 4-5 fps. en_US
dc.description.degree Yüksek Lisans tr_TR
dc.description.degree M.Sc. en_US
dc.identifier.uri http://hdl.handle.net/11527/13293
dc.publisher Fen Bilimleri Enstitüsü tr_TR
dc.publisher Institute of Science and Technology en_US
dc.rights İTÜ tezleri telif hakkı ile korunmaktadır. Bunlar, bu kaynak üzerinden herhangi bir amaçla görüntülenebilir, ancak yazılı izin alınmadan herhangi bir biçimde yeniden oluşturulması veya dağıtılması yasaklanmıştır. tr_TR
dc.rights İTÜ theses are protected by copyright. They may be viewed from this source for any purpose, but reproduction or distribution in any format is prohibited without written permission. en_US
dc.subject Yüz İfadelerinin Sınıflandırılması tr_TR
dc.subject Duygu Analizi tr_TR
dc.subject Bilgisayarlı Görü tr_TR
dc.subject Görüntü İşleme tr_TR
dc.subject Yüz Analizi tr_TR
dc.subject Yerel İkili Örüntü tr_TR
dc.subject Yerel Üçlü Örüntü tr_TR
dc.subject Destekçi Karar Makineleri tr_TR
dc.subject Facial Expression Classification en_US
dc.subject Emotion Recognition en_US
dc.subject Computer Vision en_US
dc.subject Image Processing en_US
dc.subject Local Binary Pattern en_US
dc.subject Local Ternary Pattern en_US
dc.subject Support Vector Machine en_US
dc.subject Lbp en_US
dc.subject Ltp en_US
dc.subject Svm en_US
dc.title Yüz İfadelerini Tanıma Sistemi Gömülü Sistem Tasarım Ve Uygulaması tr_TR
dc.title.alternative An Embedded Design And Implementation Of A Facial Expression Recognition System en_US
dc.type Master Thesis en_US
Dosyalar
Orijinal seri
Şimdi gösteriliyor 1 - 1 / 1
thumbnail.default.alt
Ad:
10051394.pdf
Boyut:
9.12 MB
Format:
Adobe Portable Document Format
Açıklama
Lisanslı seri
Şimdi gösteriliyor 1 - 1 / 1
thumbnail.default.placeholder
Ad:
license.txt
Boyut:
3.16 KB
Format:
Plain Text
Açıklama