Please use this identifier to cite or link to this item: http://hdl.handle.net/11527/15748
Title: A Distributed Human Identification System For Indoor Environments
Other Titles: Kapalı Ortamlar İçin Dağıtık Mimarili İnsan Tanıma Sistemi
Authors: İnce, Gökhan
Aslan, Emre Sercan
10135002
Bilgisayar Mühendisliği
Computer Engineering
Keywords: Mikrobilgisayarlar
Hareketli Robotlar
Dağıtık Bilgisayar Sistemi
Görüntü İşleme-bilgisayarlı
Microcomputers
Mobile Robots
Distributed Computer System
Image Processing-computer Assisted
Issue Date: 16-Jan-2017
Publisher: Fen Bilimleri Enstitüsü
Institute of Science and Technology
Abstract: Bugünlerde günlük hayatımızda "nesnelerin interneti"ve "robotik" konuları uygulaması daha kolay en gelişmiş teknolojiler olarak daha popüler hale geldi. "Nesnelerin interneti" kullanımı evdeki cihazların uzaktan kullanılabilmek için ev otomasyon sistemleri başlattı. Bu otomasyon sistemleri tasarlanmış alanlara erişim izni sağlamayı amaçlarken,yetkisiz erişim problemlerini video kayıtları ve kontrol mekanizmalarıyla daha güvenli ölçümlerle çözüm sunar. Bunların yanı sıra geliştirmeciler "Nesnelerin İnterneti" platformunda düşük maliyetli gömülü bilgisayarlarla video gözlemlerini birleştirip izleme sistemleriyle güvenliği destekleyebilirler. Bu çalışma ev otomasyon sistemlerine benzer özel mülk alanlarında yüz tanıma sistemleriyle giriş izni,video aramaları, bilgilendirme gönderimleri ve tehdit unsuru tespit etme sistemlerinin tümünü sunmaktadır. Bu çalışmada sabit pozisyonda kamera sistemleri kişi yüz tanıma algoritmaları sayesinde gerçekleştirildi. Sabit pozisyondaki kamera sistemlerinin çektiği görüntülerde tanımlama işlemlerinde problemler vardı. Bu problemler kişilerin kameraya uzaklık ve duruş pozisyonlarındaki farklılıkardı. Bu yüzden bir hareketli robot kişilerin yüzlerini tanımlamak için ortama eklendi. Bu hareketli robot kişileri takip edip mesafeleri ayarlayabilir. Böylelikle hareketli robot mesafe problemini çözebilir. Ancak hareketli robot kişileri mükemmel şekilde kaçırmadan takip edemez. Bazen kişileri takip ederken de sorun oalbiliyor. Hareketli robotu kapalı ortamlarda Sabit Pozisyonda Yüz Tanıma Sistemleriyle (SPYTS) birleştirmek büyük oranda yüz tanıma problemlerini çözümledi. Ayrıca bu çalışmada kişileri tanımada dağıtık bir yaklaşım amaçlandı. Sistem kullanımı 1) Kameralar sabit duvar cihazı olarak konumlanır, 2) Kameralar hareketli robota konumlandırılır. SPYTS minik gömülü bir bilgisayara kuruldu. Hareket algılayıcısı ve kızılötesi kamera bileşenleri ortamdan daha fazla veri kazanımı için kullanılmıştır. Ancak bazen sabit pozisyonda olmalarından dolayı yüz tanımada hata yapabiliyorlar. Bu durum SPYTS kişilerin çekilen görüntülerinden yüz tanımaya çalışırken sistemin yüz tanıma performansını düşürür. çünkü kişi ve kameranın arasındaki mesafe yüzü saptamada çok önemlidir. Sunulan bu tezde sabit pozisyon probleminin robotla çözülerek sistemin performansının geliştirilmesi amaçlanmıştır. Ayrıca belirli mesafeden yüz tanıma doğruluğunun arttırılması ve robota konumlandırılmış kamerayla resim çekiklmeden yüz görüntüsünün etrafında hareket edebilen bir robot eklenmiştir. Hareketli robotun yardımıyla sistem daha etkileşimli hale gelmiş ve ortamdan bilgi kazanımı süreci daha etkili olmuştur. Sonuç olarak amaçlanmış tümleşik sistemle bu çalışmada sadece SPYTS tarafından çekilen sabit pozisyonlu görüntülerle değil aynı zamanda hareketli robotttan çekilen görüntüler kullanılmıştır. Bu dağıtık sisteme bağlı SPYTS ve hareketli robot arasındaki ağ iletişiminin sağlanması için kullanıcı-sunucu yaklaşımı kurallarını uygulayan geliştirilmiş teknikler kullanılmıştır.Her bir SPYTS ve hareketli robot senaryo esnasında ana programlar çalıştırır. Girilecek veriler ortamdan alınır ve mekanizmayı tetikler. SPYTS görevlerini ve davranışlarını aktif görevine göre planlar.Görev tamamlandıktan sonra SPYTS veritabanı kayıtlarından görevini pasif moda çeker. Bu kayıtlar diğer cihazlar tarafından kullanılabilir. Cihazlar arasındaki bu iletişim ve tetikleme mekanizması kurulur. Bu sistemler daha karmaşık ve uygulamalarını takip etmesi zor sistemlerdir. Mimari yeni SPYTS'ler veya hareketli robotlar sisteme ekleyerek genişletilebilir ve her bir SPYTS sunucu aracılığıyla iletişim kurabilir şekilde tasarlanmıştır. Bir SPYTS ve hareketli robot kişilerin farklı duruş pozisyonlarının daha fazla görüntülerini çekmeye programlanmıştır. Sonrasında her bir cihaz yüz tanımlamayı çalıştırır ve kişilerin isimlerini ve yüz tanıma sonuç oranlarını belirler. Yüz tanıma sonuçları kullanılarak makine öğrenmesini içeren çeşitli teknikler yüz tanıma oranının başarısını arttırmada kullanılır. Ek olarak yüz tanımada yüksek oranda başarılı tahmine dayalı seçimlerde yüz tanımlayıcı geliştirme adreslemede rastgele orman, karar ağacı ve doğrusal SVM yöntemleri kullanılmıştır. Tanımlanan sistemler sistemsel olarak çeşitli senaryolara göre oluşturulmuş ve test edilmiştir.Yüz tanıma sisteminin gerçekleme oranındaki değişimleri etkisini göstermek için deneyler hareketli robotla ve hareketsiz robotla yapılmıştır. Amaçlanan sistem 1) Yüz veritabanındaki yüz tanıma oranları 2) Video aramaları ve 3) Olay planında kişi test örnekleriyle çalışılarak değerlendirildi. Yaklaşımımızın etkinliğini altı senaryo uygulayarak doğruladık. İlk senaryoda tuş tetikleyiciyle kişi değerlendirildi. İkinci senaryoda hareket tetikleyiciyle kişi tanımlama analiz edildi. üçüncü senaryoda kişi tanımlama kendi etrafında dönerek takiple sağlandı. Dördüncü senaryoda kişi tanımlama yer değiştirerek test edildi. Beşinci senaryoda kişi tanımlama yer değişikliğine ses eklemesi de yapılarak denendi. Altıncı senaryoda kişi tanımlama robot diyaloglarıyla tamamlanarak analiz edildi. Bir veya daha fazla SPYTS ve hareketli robot kişilerin görüntülerini çekmek için tasarlanmış alanda hareket sensörü tetikleyicili SPYTS senaryosuna dayalı hareketli robotu yönlendirme senaryosu yukarıda verilmiştir. Deneyler sırasında toplanan resimlerin ne kadar süre içerisinde, hangi cihazın hangi aktivasyon modunda ya da davranışında ve hangi mesafeden elde edildiği kayıt altına alınmıştır. Belirli zaman aralığında çalışan bir alt program dizindeki resimleri bir dosyaya yazmaktadır. Bu sayede elde edilen verilerin hangi zaman aralığında kaydedildiği bilgisine erişilebilmektedir. SPYTS kullanılarak elde edilen resim "f\_" ön ek başlangıcına sahip olurken, hareketli robot vasıtasıyla elde edilen resim "t\_" ön ek başlangıcına sahiptir. ön ek sayesinde bir resimin hangi cihaz tarafından oluşturulduğu bilgisine erişilebilmektedir. SPYTS tarafından oluşturulan örnek bir resim "f\_b" ya da "f\_m" tam ön eki ile kayıt edilir. Burada "f\_b" tuş ile tetiklenen, "f\_m" hareket ile tetiklenen aktivasyon modunda elde edilen resimleri temsilen kullanılmıştır. Bu sayede aktivasyon moduna göre elde edilen resimler bilinmektedir. Aynı şekilde hareketli robot için de "t\_r" dönüşsel hareket takibi, "t\_d" yer değiştirmeyle hareket takibi, "t\_a" ses ve görme sensörleriyle takip ve "t\_i" robot tarafından başlatılan diyalog ve ses ve görme sensörleriyle takip ön ekleri kullanılmaktadır. Farklı mesafelerle yapılan testlerin verileri de farklı dizinlere kayıt edilen sonuçlar vasıtasıyla gerçekleştirilmiştir. Yukarıda belirtildiği şekilde bir çok sonuç kıyaslanmış ve dağıtık mimarili sistemdeki bileşenlerin sonuca katkısı mesafe, veri miktarı, aktivasyon modu ve takip davranışı türüne göre ve tüm bileşenlerin kombinasyonlarıyla incelenmiş ve sonuçları aktarılmıştır. Dağıtık mimarili kişi tanıma sisteminin yüz tanıma üzerine çalışan giriş sistemine uygulaması da gerçekleştirilmiştir. SPYTS tuş tetiklemeli çalışan sistem uygulaması, kişinin resmini çekerek kimliğini tespit ettikten sonra mobil uygulama üzerinden kullanıcıya kişinin çekilen resmi ile kim olduğunu göstermektedir. Bu uygulamanın kullanıcı deneyimi testleri de gerçekleştirilmiştir. Kullanıcılara düzenlenen anket ve deneyimlerine çalışmanın sonuçlar kısmında yer verilmiştir.
Nowadays "internet of things" and "robotics" topics are getting more and more popular because "state of the art" technologies are easier to be applied in our daily lives. Utilization of "internet of things" started home automation systems to use devices at home remotely. While these automation systems aim at giving access to designated areas, they also offer solutions for unauthorized access problems by keeping logs of video records and control mechanisms as well as features for more security measures. Besides, developers are able to implement and monitor video surveillance systems to support security in the IoT platforms using low cost embedded computers. This study presents an entire system, which is similar to home automation system and allows the login of a person entering a private property using face recognition system, video calls, sending notifications and having more components such as threat detection. In this study statically positioned camera systems were implemented to identify people thanks to face recognition algorithms. Captured images from fixed positioned camera systems(FPFRS) had problems to process on identification. The problems were differences in distance of people to the camera and differences caused by posing. Therefore a mobile robot that has camera, was incorporated to recognize faces of people in the environment. The mobile robot can track people and keep the distance to the people constant. Thus, the mobile robot can solve the distance problem. However, the mobile robot can not track people perfectly without miss. Sometimes it can have trouble while tracking people. Thus, integrating the mobile robot to the Fixed Positioned Face Recognition System has a big potential to deal with the face recognition problem in indoor environments. Therefore an distributed approach was proposed to recognize humans in this study. The system utilizes 1) Cameras statically mounted on wall devices (FPFRS), 2) Cameras mounted on mobile robots. FPFRS were built on a tiny embedded computer. Motion sensor and infrared camera components were used to gather data about environment. However, sometimes they can fail to recognize faces because of their fixed positions. This decreases face recognition performance of the system when FPFRS tries to recognize person from captured images. Because distance between camera and person is very important in order to obtain features of face. To improve the performance of this system proposed method given in this thesis aims at solving the problem of fixed position with robots. Therefore a mobile robot is added to improve face recognition accuracy gathering face images from certain distance and moving around face image that is aligned to the camera of robot before captured. With the help of the mobile robot, the system becomes more interactive and information gathering from environment process is done more efficiently. As a result proposed hybrid system in this study not only uses fixed positioned captured images by FPFRS but also uses images that are taken from mobile robot. To provide network communication between FPFRS and the mobile robot which are linked to in this distributed system, modified techniques are used which follow the rules of client-server approach. Each of the FPFRS and the mobile robot runs main program during scenarios. Inputs can be taken from the environment and enable the trigger mechanism. An FPFRS schedules its jobs and behaves according to the active jobs. After the job is done, FPFRS deactivates the jobs in the database records. These records can be manipulated from other devices. Thus communication and trigger mechanism between devices is established. These systems are more complex and it is hard to follow this kind of systems, actions. Architecture is designed to expand by adding new FPFRSs or mobile robots to the system and each FPFRS can communicate via server. One FPFRS and a mobile robot have scenario to capture more images of people from different positions. Then each device runs face recognizer and obtains a result which consists of name of person and confidence of face recognition score. Using the results of face recognizer, various techniques, including machine learning algorithms, are applied to improve accuracy of face recognition. In addition to choosing prediction based on highest confidence in face recognition, random forest tree, decision tree, and linear SVM methods are applied to address the issue of face recognizer improvement. Described systems are implemented and tested systematically based on various scenarios. To show the impact of the effect of changes on accuracy of face recognition system, experiments were done with and without the mobile robot. The proposed system was evaluated using 1)Face recognition scores on a face database, 2)Performance of video calls, and 3)Case scenarios performed on human test subjects. We have verified the effectivity of our approach by using six scenarios. In the first scenario button triggered human identification has been evaluated. In the second scenario motion triggered human identification has been analyzed. In the third scenario human identification using rotational tracking has been investigated. In the fourth scenario human identification using displacement tracking has been examined. In the fifth scenario human identification using displacement and voice combined tracking has been illustrated. In the sixth scenario human identification using robot initiated dialog has been analyzed. One or more FPFRS and the mobile robot have scenario to route the mobile robot to capture images of people on designated area of motion sensor triggered FPFRS based on the scenarios given above.
Description: Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016
Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2016
URI: http://hdl.handle.net/11527/15748
Appears in Collections:Bilgisayar Mühendisliği Lisansüstü Programı - Yüksek Lisans

Files in This Item:
File Description SizeFormat 
10135002.pdf11.17 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.