FBE- Bilgisayar Mühendisliği Lisansüstü Programı

Bu topluluk için Kalıcı Uri

http://hdl.handle.net/11527/10
Bilgisayar Mühendisliği Ana Bilim Dalı altında bir lisansüstü programı olup, yüksek lisans ve doktora düzeyinde eğitim vermektedir. Lisansüstü eğitiminde uzmanlık alanları: Bilgisayar Ağları, Yapay Zeka, Doğal Dil İşleme, Paralel ve Dağıtık Sistemler.

Gözat

Konu "Accio Dataset" ile FBE- Bilgisayar Mühendisliği Lisansüstü Programı'a göz atma
  • Öge
    Yaşlar Arası Yüz İz Çıkarımı Ve Tanıması
    (Fen Bilimleri Enstitüsü, 2015-09-08) Ghaleb, Esam ; Ekenel, Hazım Kemal ; 10086774 ; Bilgisayar Mühendisliği ; Computer Engineering
    Videoda yüz tanıma popüler bir araştırma konusudur ve çok yol katedilmiştir. Işıklandırma,     çözünürlük ve açı gibi zorluklar çeşitli veri setleri kullanılarak iyice incelenmiştir. Fakat,  yüzdeki yaşlanmayı araştırma yönelik video tabanlı hiçbir veri seti bulunmamaktadır. Videolarda  yaştan bağımsız yüz tanıma teknikleri geliştirmek ve incelemek için bu zorlu veri setini takdim  ediyoruz: “Harry Potter Movies Aging Data Set (Accio)”. Veri setimiz sadece açı, aydınlanma ve  parazit veriler bakımından zorluklara sahip olmayıp aynı zamanda yüz görünümündeki önemli değişikliklere  dair on yıllık bir süreci kapsamaktadır. Yüz çıkarımını bir Harry Potter filminin sadece kendisinden  veya diğer Harry Potter filmlerinin herhangi birinden yapmak üzere iki temel görev uyguluyoruz ve  harici veri seti kullanımındaki serbestlik açısından değişkenlik gösteren iki farklı protokol  kullanılmasını öneriyoruz. Son model bir yüz takibi özniteliği kullanarak çıkarım performansını  ana hatlarıyla sunuyoruz. Deneylerimizde yüz çıkarımından alınan sorguyla veritabanı arasındaki yaş  farkı arttıkça performansta net bir azalma eğilimi görülmektedir. Videolarda yaştan bağımsız yüz  tanıma alanındaki araştırmaların daha ileriye gidebilmesi için veri setimiz kamuya açık olacaktır. Videolarda yüz tanıma zorlayıcı bir konu olduğu için son yıllarda çok fazla ilgi çekmiştir.  TV karakterlerini belirmek, gözetim kamerlarından şüphelileri tanımak gibi birçok pratik kullanımı  vardır. Aydınlatma, yüz açısı, ifadesi ve çözünürlük sorunlarını çözmek için önemli gelişmeler  kaydedilmiştir. Bu çalışmada, oldukça ihmal edilen yaşlanmaya bağlı yüz görünüm değişiklerinin  etkisini incelemeye odaklandık. Yaş varyansyonunu analiz etmek için sabit görüntünün birden fazla  veri seti varken (FGNET, MORPH, CACD), bildiğimiz kadarıyla video tabanlı veri seti  bulunmamaktadır. Ayrıca, yüz izi kullanarak, yüz takibi nedeniyle haraket bunalıklığı, ve şiddetli  poz değişimi nedenleriyle sabit yüz imgesine göre yüz tanıma sorunu daha zor olduğu barizdir. Böyle  bir veri seti, yaş değişiminin sorunun video bazlı çözülmesine sağlayacaktır.  Yaştan bağımsız yüz tanıma sistemlerini değerlendirmek ve geliştirmek için geniş ve zorlu yüz izi  veri seti sunmaktayız. Veri seti Harry Potter serisinde oluşmaktadır. Filmler on yıllık bir dönemi  kapsar ve videoda yüz tanıma diğer zorluklarıyla birlikte yaş varyasyon etkilerini incelemek için güçlü  bir ortam sunmaktadır. Ayrıca, veri setinde yaşlanma etkilerini en belirgin olduğu döneme ( genç yüzleri)  ait çok sayıda yüz izi bulunmaktadır. Değişik yaş gruplarına sahip olan çok sayıda adlandırılmış karakterlerle  birlikte veri seti birçok distraktör olarak adlandırreedığımz ismi olmayan yüz izleri içeriyor. Bu veri seti on yıllık bir süre içinde yayınlanan sekiz Harry Potter film serisini kullanarak toplanıp düzenlemiştir.  Her film kendi içinde birkaç zorluklar içermektedir. (i) Aydınlatma: birçok parlak ve karanlık sahne vardır. (ii)  poz: ön pozlu olmayan yüz izleri ve genelikle aktörler kameraya bakmamaktadır. (iii) çözünürlük: - izler 25’ten 500’a  kadar çözünürlüğü olabilir. (iv) distraktörler: yüz izlerin yaklaşık \%40’sı arka planda gözüken ve ismi olmayan  karakterlere ait ve bu yüz izi tanıma görevinde sorunları yaratabilir. Son olarak, yaşlanmadan dolayı yüzdeki görünüm  değişimi sekiz filmi kullanımı iyi bir kaynak olarak görülmektedir.  Yüz izleri elde etmek için ilk başta video çekim sınırları tespit edilmiştir. Her çekim içinde, gibi parçacık filtresi   yüz yakalamayla yüz izi elde edilmiştir. Tüm yüz kaydırma ve silindir açılarını kapsayan çoklu poz yüz yakalama yöntemi de   kullanılmıştır. Veri seti genç aktörler (yaşı < 20 ) için çok sayıda yüz izleri içermektedir. Çoğu yüz görünümü değişiklikleri   erken yaşta olduğu için bu önemli bir özelliktir.  Veri setinde yüz izleri temsil etmek için son model olarak bilinen Fisher Vector Faces (FV2) özniteliği kullanılmıştır.  Bu makalede yüz tanımak için öznitelik vektörü $(FV^2)$  imgeden yerine yüz izinden çıkartılmış ve buna video pooling denmektedir.  Yüz izindeki bütün yüz imgelerinin öznitelik vektörleri bir vektörde birleştirilmiş. Her filmde ikiye bölünmüş adlandırılmış ve bilinmeyen (distraktör) yüz izlerin sayısı sunulmaktedir. Veri set yaklaşık 38,464 yüz  izleri içermektedir. Bunların \%59.4 yani 22830 121 farkli karekterlerle filmlerde gözüktüğü gibi adlandırılmış yüz izleridir.  Yüzlerin geri kalanı yani \%40.6 adlandırılmamış oyunculara ait ve yüz izlerin çıkarımında distraktör olarak kabul edilmiştir.  Her Harry Potter film serisinde yüz izleri değişen sayıda bulunmaktadır. Aktörlerin yaşları 10 ile 88 arasındaki yaşları kapsamaktadır.  Yaşları filme yayınma tarihine göre hesapladığımız için yaşta hafif bir tutarsızlık olabilir. İlk filmde ve son filmde rol alan  aktörlerin yüz izlerini yaş farkı maximum on sene olabilir ve böylece en büyük yaş farkı 10 sene olarak kabul edilmektedir. İlk olarak filmin aynısını ikinci olarak diğer filmleri kullanarak yüz izi çıkarımı olmak üzere iki temel görev  uyguluyoruz:  (i) Filmin kendisi: Bu ayarlarda, her film bireysel olarak görülmüştür ve kendi içinde değerlendirme yapılmıştır. Aynı film içinde  adlandırılmış her yüz izi sorgu olarak kullanılırken diğer kalan yüz izleri ( distraktör de dahil) veritabanı olarak oluşturmuştur.  Bu ortamda, poz ve aydınlatma gibi tipik yüz tanımı sorunlarına maruz kalan çıkarım performansı değerlendirilmiştir. (ii) Filmler arasında: By ayarlarda, diğer Harry Potter değişik filmleriyle yüz iz çıkarımını değerlendirerek, aktörler arasında yaş  değişininin ektisini analiz edilmektedir. Herhangi film içinden (örneğin HP- 1) her adlandırılmış yüz izi sorgu olarak kullanırken  değer bir filmin (örneğin) bütün yüz izleri veritabanı oluşturmaktadır.   LFW ve YouTube Faces setleri gibi verilerin kısıtlı, kısıtsız ve serbest bir şekilde kullanımının  ayarlarını öneriyoruz. Görevleri içeren iki protokol öneriyoruz, fakat denetimli ve denetimsiz modelleri öğrenmek için hangi ve ne dereceye verlerin kullanılacağına göre değişir.  (i) Kısıtlı Protokol: Bu protokolda deneylerde harici veriler kullanılmamalıdır. Bunun positif eğitim örneği olarak sadece sorgu izi mevcut olduğuna anlamına gelir. Çıkarım modelleri diğer Accio yüz izleri veya harici iz/imge kullanarak eğitimi kullanılmamalıdır. Bu sadece farklı yüz izin özniteliklerini karşılaştırmak için veya sorgu genişleme ve alan adaptasyon gibi otomatik ve denetimsiz yöntemleri değerlendirmek için kullanılabilir. (ii) Kısıtsız Protokol: Bu ortamda, araştırmacılar eğtim modeli elde etmek için harici verilerini kullanmalarına izin verilir. Örneğin, yaşlanma sürecinde yüz görünümü modellemek için harici verileri kullanılabilir. Fakat, aktörlerin modellerini eğitiminde Accio veri setinden herhangi bir yüz izi kullanılmamalıdır. Son olarak, veriler önceki protokollara göre uymadan farkli bir şekilde kullanılırsa, örneğin yüz izi sınıflandırma amacıyla kullanılması, araştırmacılar buna tüm-serbest düzeni olarak bahsedebilir. Çıkarım deneyleri iki popüler önlemleri kullanarak değerlendirildi: (i) ortalama kesinlik (Mean Average Precision mAP) (ii) @K  Kesinlik, bu de en iyi yüz izlerin sonucunun K değerine karşılık gelir. Bu çalışma zorlukları, ayarları, ve anahat geliştirilmiş sonuçlarını sunuyoruz. Ilk başta, Kısıtlı protokol kullanarak aynı filme ait yüz iz çıkarımı ( birinci görev) sonuçlarını takdim ediyoruz. Her film için adlandırılmış yüz izleri sorgu olarak kullanırken aynı filmdedki bütün izler veritabnı oluşturmaktadır. Örneğin, ilk film ilk filmde HP-1'de teker teker alınan adlandırılmış 3243 izler ver ve sorgu izi haric bütün 5248 yüz izleri veritabnı olarak kullanılır.  Aynı filme poz ve aydınlatma gibi zorluklarının performansı değerlendirirken, (görev 2) yaşlanma soruna bakıyoruz. Yaş farkı oldukça az oldğunda çıkarım performansını iyi olduğunu varsayarak, aynı zamanda filmler arasında değerlendirme yaptığımız zaman ve yaş farkı arttıkça (orneğin HP-1 vs HP-8) performans kötüleşmesini görüyörüz. Sonuçlar bölümünde, sonuçların ana hattını geliştirmek amacıyla ve görev 1 ve 2 sonuçlarınında farkını azaltmak için metric öğrenme tekniklerinden yararlanyoruz. Deneylerde elde edilen yüksek boyutlu FV metric öğrenme kullanarak sıkıştırılıp ayrıt edici bir temsil ortaya çıkarmaktadır.  Sıkıştırma doğrusal projeksiyon kullanılarak gerçekleştirilir ve iki amaca hizmet eder: \\ (i) Yüz öznitelikleri azaltır, büyük ölçüde ve büyük ölçekli veri setleri için geçerli hale gelir.\\ (ii) Alt uzay üzerine projeksiyon, ayrımcı Öklid mesafe ile tanıma performansını artırır  Bu çalışmada da Mahalanobis metrik yanında da diyagonal metrik ve joint metric kullanılmıştır. Metric öğrenme uygulamadan önce de, FV boyutlarını azatlmak için üzerinde PCA uyguluyoruz. Metric öğrenme teknikleri iki farklı şekilde kullandık: (i) Çift film üzerinde metrik öğrenme: iki filmden eğitim için bir oran veri alınıyor ve daha sonra bunlarla metrik model elde ediliyor. Bu model kullanarak, kalan veri üzerinde test ediyoruz.  (ii) Bütün filmler üzerinde metrik öğrenme: bu tip kullanmada, bütün filmlerin yüz izlerinde bir oran (örnek: 10\%) toplanıp ve üzerinde metric öğrenme eğitimi yapıyoruz. Kalan yüz izleri iki çıkarım görevlerini uyguluyoruz. İki senaryoda, joint ve low-rank Mahalanobis teknikleri, iki çıkarım görevlerinde mAP ve kesinlik sonuçlarını artırmaktadır. Bu iki öğrenme metodlarının sonuçların arasındaki farkı azalmakta ve değerlerini oldukça geliştirmektedir. Bunun nedeni, metric öğrenme yüzdeki yaştan dolayı bigisini alıp özniteliklerini aynı domaina sıkıştırıp benzerliklerini öğrenmesinden kaynaklanmaktadır. Fakat diyagonal metrik öğrenme, öncekilerine göre daha basit olduğu için, yaştan dolayı özniteliklerinin farkını öğrenmesi için yeterli değildir. Bu yüzden, bu teknik anahat sonuçlarından daha kötü olduğunu görüyörüz. Ayrıca linear SVM kullanarak yüz iz tanıma deneyleri gerçekleştirdik. Yaş etkisi görmek ve performansı değerlendirmek için iki çıkarım görevlerini de tanıma için uyguluyoruz. Değerlendirme için 5 çapraz doğrulama (5 fold cross valildation) yöntemi kullanılmaktadır. İlk başta, değerlendirme yapılmadan önce, en az 3 filmlerde ve 50 yüz izi olan karakterler değerlendirmelerde dâhil edilmiştir. Kullanılan karakterler için mutli-class SVM eğitimi ve değerlendirilmesi uygulandı. Örneğin, ilk Harry Potter filminde 23 karakter için SVM eğitimi yapıldı ve daha sonra test için elde edilen SVM modelleri hem aynı filmde hem de diğer filmlerde test edilmektedir. Test sonuçlarına göre eğitim seti ile test seti aynı filmden seçildiğinde başarım yüksek çıkmıştır. Test verisi eğitilen modelden farklı bir filmden seçildiğinde ise başarımın düştüğü görülmüştür. Bu da veri setimizde yaş faktörü ne kadar güçlü olduğunu göstermektedir. Tezin ikinci çalışmasında, kullandığımız ve Fisher vektör yönteminin başarmını  ölçmek için analiz ediyoruz. Bu yöntemi  kullanarak LFW kısıtlı deney setinde en iyi sonuçlardan birini vermektedir. Kısıtlı olmayan deneylerde de oldukça başaralı ve yüksek  sonuçlar vermektedir. “Fisher Vector Faces in the Wild” makalesinde önerilen yöntemi SIFT öznitelik ve metrik öğrenme yöntemleri  kullanarak farklı öznitelikleri, ve parameterleri test edilmektdedir.. Önerilen FV yöntemi, farklı veri seti üzerinde nasıl çalıştığını ve performans nasıl etkilendiğini ölçmek için, bu yöntemi Face Recognition  Grand Challange (FRGG) veri setinin dördüncü deney üzerinde değerlendirdik. FRGC veri setinde eğitim kümesi 222 kişiye ait 12,776 imgeden  oluşur.  Test için galerisi ve prob setleri kişi başına tek hareketsiz görüntülerden oluşur. Bu deneyde test için 466 kişiye ait, sorgu veri  setinde kontrolsüz 8014 ve hedef veri setinde 16028 kontrolü imgeden oluşur. Genelde performans, ROC eğrisinde 0,1\%’inde doğrulma oranı  (FAR) olarak elde edilir. Üç tane ROC eğrisi var, ROC 1 imgeler aynı dönemde, ROC 2 imgeler aynı senede ve ROC 3 imgeler iki dönem arasında  çekildiğini ifade ediliyor.  Sonuçlar, ROC Eğrisinin altında kalan alan (Area Under the Curve) olarak değerlendirildi.  FV yüz tanıma için SIFT’ten farklı öznitelik kullanıldığında performansı görmek için Gabor  filter öznitelikleri kullandık. Her bloktan 256 boyutlu öznitelik vektörüne, Gabor filtresine ait hangi ölçek, oryantasyon  ve bloğun x ve y bilgileri eklendiği halde, performans nasıl değiştiğini incelendi. Özniteliklerin bilgileri eklendiğinde iyi sonucu FV vermektedir. Bu bilgiler eklenmediği halde sistemin başarımı düşük olduğunu görüyürüz.  Yüz imgesinin her bloğundan, 256 boyutlu öznitelik vektörü elde edildikten sonra, PCA tekniğin kullanarak daha  düşük boyutlu vektör haline dönüştürüldü. Bu deneyde, sadece PCA boyutu değiştirirken, diğer deney parametreleri  GMM, Örtüşme, Eklenme sabit tutuldu. Sistemin performansı düşük boyutlarda daha iyi çalıştığını fark edilmektedir.  Yapılan önceki deneylerden sonra, en iyi sonuç veren parametreleri seçip bu parametreleri kullandıktan sonra,  sistemin başarımı karekök normalleştirme, örtüşmeyen bloklar, az PCA boyut ve ölçek, oryantasyon ve mekânsal  bilgileri eklenme parametreleriyle en iyi sonucu verdiğini görülmektedir.