Robotlar İçin Aktif İşitsel-görsel İnsan Takibi

Abstract

Bu tezde, işitsel ve/veya görsel olarak karmaşık çevreler ve şartlar altında robotların algılama yetisini iyileştirmek için, çoklu kipli/sensörlü sistem tasarlanılmıştır. Gerçek zamanda koşan bu sistem 1) işitme kipi, bu kipe destek olması amacıyla 2) görme kipi ve bu iki kipten gelen verilere dayalı akıllı davranış örüntüleri yaratmak için önerilen 3) hareket kipi olmak uzere üç kipten oluşmaktadır. Ortamdaki konuşmacının tespiti, lokalizasyonu ve takibi, işitme ve görü kiplerinin, bağımsız olarak gercekleştirdiği başlıca görevleridir.

In this thesis, a multimodal system is designed in the form of an active audio-visual perception in order to improve the perceptual capability of a robot in a noisy environment. The system running in real-time uses 1) audition modality, 2) a complementary vision modality and 3) motion modality incorporating intelligent behaviors based on the data obtained from both sensory modalities. In this system, the detection, localization and tracking of the speaker are the main tasks of audition and vision modalities independently.