Analysis of data association algorithms for human tracking

Abstract

Multi-target tracking remains a critical research area, particularly due to challenges inherent in accurately associating sensor detections to targets in dynamic environments filled with humans. This process, known as data association, significantly impacts the reliability and efficiency of tracking systems. In this thesis, the focus is placed on thoroughly investigating and enhancing classical data association methods, particularly the Global Nearest Neighbor (GNN) and Joint Probabilistic Data Association (JPDA), and proposing an innovative hybrid approach that integrates the advantages of both methods through a rule-based strategy. To conduct a fair comparative analysis, an advanced simulation framework was constructed using the Robot Operating System (ROS) and the Gazebo simulation environment. This setup enabled the generation of realistic scenarios that mimic pedestrian behavior, including complex dynamics like sudden directional changes, dense crowd formations, and frequent occlusions. The entire tracking pipeline was developed from the ground up, incorporating specialized modules for data association, track management, and the realistic generation of clutter measurements. The performance of each algorithm was systematically evaluated across 200 simulated pedestrian scenarios using the Trajectory-Generalized Optimal Sub-pattern Assignment (T-GOSPA) metric. Detailed analysis revealed that missed targets were the predominant factor influencing tracking accuracy, contributing roughly 72.2% of the total T-GOSPA score. Localization errors followed closely which accounts for approximately 17.0%, whereas false tracks and identity switches collectively comprised about 9.1% of the total error. Although relatively minor in absolute terms, false tracks and identity switches exhibited significant sensitivity to the choice of data association algorithm. JPDA demonstrated improvements over GNN by reducing false tracks by around 21.0% and identity switches by about 9.9%. Building upon these strengths, the proposed hybrid method delivered further enhancements. It slightly exceeds JPDA's performance in false-track reduction and notably surpasses JPDA by about 4.5% in minimizing identity switches, and by approximately 13.9% compared to GNN. Crucially, the hybrid method achieved these improvements without negatively affecting localization accuracy or the number of missed targets, thus establishing itself as a balanced alternative. Regarding computational efficiency, GNN emerged as the fastest algorithm and it is roughly 13.0% faster than JPDA. The hybrid approach, was slower than GNN by about 12.2% but still more efficient than JPDA by approximately 2.4%. The ability of the hybrid approach to bridge the computational gap between JPDA and GNN by about 18.5% underscores its suitability for real-time applications, especially in resource-constrained robotic systems. Future studies should aim to validate these findings not only in simulation environments but also under real-world conditions. Variations in real environments, sensor uncertainties, and unexpected human behaviors will serve as critical testing factors for better evaluating the robustness and generalizability of the algorithms. Moreover, conducting experiments on different robot platforms and across diverse scenarios will provide a more comprehensive assessment of the proposed method's applicability. Including cases with different sensor error characteristics and varying numbers of false measurements in the comparison will further expand the evaluation framework of subsequent studies.

Dinamik ortamlarda görev yapan mobil robotlar, sabit nesnelerin yanı sıra yayalar gibi hareketli varlıklarla da karşı karşıya gelir. Toplu alanlarda insan yönlendirme ve rehberlik, depo ortamlarında iş birliğine dayalı taşıma veya güvenlik devriyesi gibi görevlerde, robotların çevrelerindeki insan hareketlerini sürekli algılaması ve bu hareketlere uyum sağlaması gerekir. Ancak insanlar düzensiz ve birbirine yakın hareket eder ve görüş alanından kaybolabilirler. Bu nedenle yalnızca anlık insan tespiti yeterli değildir. Robotların, insan konumlarını zaman içinde güncel olarak izleyip gelecekteki hareketleri öngörerek güvenli ve verimli yollar planlaması gerekir. Çoklu hedef takibi, özellikle insanlarla dolu dinamik ortamlarda sensör algılamalarının hedeflerle doğru bir şekilde ilişkilendirilmesindeki zorluklardan dolayı kritik bir araştırma alanı olmaya devam etmektedir. Veri ilişkilendirme olarak bilinen bu süreç, takip sistemlerinin güvenilirliği ve verimliliği üzerinde büyük bir etkiye sahiptir. Çoklu hedef takibi için tipik bir mimari, gelen sensör ölçümlerini işleyen ve zaman içinde nesne izlerini güncelleyen bir döngü içerisinde çalışır. Süreç, sensör verilerinin işlenmesi ve ölçümlerin oluşturulması ile başlar. Burada Light Detection and Ranging (LiDAR) ve kamera gibi çeşitli sensörlerden gelen ham veriler, sınırlayıcı kutular gibi anlamlı gözlemlere dönüştürülür. Bu gözlemler, daha önce takip edilen hedeflerle eşleşip eşleşmediklerini belirlemek amacıyla değerlendirilir. Bu işleme veri ilişkilendirme denir. Belirsizliği ve hesaplama maliyetini azaltmak için, öngörülen konumlara dayalı olarak olası olmayan eşleştirmeleri eleyen kapılama hesaplamaları önceden gerçekleştirilir. İz yönetimi modülü, izlerin başlatılması, doğrulanması ve silinmesini yönetir. Son olarak, filtreleme ve kestirim aşaması her bir iz için gelecekteki durumu öngörür ve bir sonraki ilişkilendirme döngüsüne rehberlik eder. Bu sürecin tamamı sürekli olarak tekrarlanır ve sistemin değişen hedef kümesini dinamik olarak yönetmesini sağlar. Literatürde birçok veri ilişkilendirme algoritması günümüze kadar geliştirilmiştir. Hedef takibinde veri ilişkilendirme problemlerine getirilen ilk çözümlerden biri, 1970'lerin başlarında önerilen Nearest Neighbor (NN) algoritmasıdır. Bu yöntem, her ölçümü, mesafe metriklerine dayalı olarak en yakın tahmin edilen hedefle eşleştirir. Basit senaryolarda etkili olmasına rağmen NN, karmaşık ortamlarda güvenilirliğini kaybeder. Bu sınırlamaya yanıt olarak Bar-Shalom, 1975 yılında Probabilistic Data Association (PDA) filtresini önermiştir. PDA, tek hedef takibi için kapı içinde yer alan tüm ölçümleri olasılıksal ağırlıklarla kullanarak hedef durumunu günceller. Böylece yanlış alarmlar ve kaçırılan tespitlere karşı daha dayanıklı bir yapı sunar. PDA'nın çoklu hedeflere genellenmesiyle Joint Probabilistic Data Association (JPDA) ortaya çıkmıştır. Bu yöntem, tüm uygun ölçüm-iz eşleştirmelerini birlikte değerlendirir ve karşılıklı dışlamayı dikkate alarak yakın hedeflerdeki yanlış güncellemelerin önüne geçer. Karşılıklı dışlama, bir ölçümün aynı anda birden fazla iz (takip edilen hedef) ile eşleştirilemeyeceği, ya da bir izin aynı anda birden fazla ölçümle eşleştirilemeyeceği anlamına gelir. Yani her ölçüm sadece tek bir iz ile ilişkilendirilebilir ve her iz sadece tek bir ölçümle güncellenebilir. Bu kural, çakışmaları önlemek ve izleme doğruluğunu artırmak için önemlidir. Reid, 1979'da Multiple Hypothesis Tracker (MHT) algoritmasını geliştirmiştir. MHT, her adımda tek bir eşleştirmeye karar vermek yerine, birden fazla olası hipotezi zaman içinde korur ve daha fazla veri geldikçe en olası olanı seçer. Bu yöntem karışık sahnelerde doğruluğu artırmasına karşılık, hesaplama maliyeti oldukça yüksektir. JPDA'nın yakın ve paralel hareket eden hedeflerde ortaya çıkardığı iz birleştirme problemine karşı çeşitli uzantılar geliştirilmiştir. Bu uzantılardan biri olan Exact Nearest Neighbor PDA (ENNPDA), ağırlıklı hipotez kümesini değil, yalnızca en yüksek olasılıklı hipotezi kullanarak güncelleme yapar. Bu yöntem, gürültü ve kaçırılan ölçüm yokken iz birleştirmeyi önlese de, tek bir hipoteze dayanması onu hatalara karşı savunmasız hale getirir. Ölçüm yanlışsa, iz sapabilir. Scaled JPDA ise, ilişkilendirme olasılıklarına bir ölçekleme faktörü uygulayarak en olası eşleştirmelerin ağırlığını artırır ve daha deterministik davranır. Literatürde bu tür problemleri çözmeye yönelik birçok farklı teknik önerilmiştir. Bu çalışmada, paralel ve yakın hareket eden yayaların izlerinin birleşmesini önlemek amacıyla Scaled JPDA yaklaşımı kullanılmıştır. Bu yöntemlerin avantajlarını bir araya getiren, kural tabanlı yenilikçi bir hibrit yaklaşım önerilmiştir. Hibrit yaklaşımın temel mantığı, sahnedeki belirsizlik seviyesine göre GNN ve JPDA yöntemleri arasında dinamik olarak geçiş yapmaktır. Bu mantık, öncelikle doğrulama matrisi, kapı çakışması (gate overlap) ve öklid mesafesi gibi kriterlere dayanır ve sahnenin karmaşıklık düzeyine göre en uygun veri ilişkilendirme algoritmasını seçer. Böylelikle hem takip doğruluğunu arttırmak hem de hesaplama yükünü optimize etmek hedeflenmektedir. GNN, JPDA ve önerilen hibrit yapının adil bir karşılaştırmalı analizi yapmak amacıyla ROS ve Gazebo simülasyon ortamı kullanılarak gelişmiş bir simülasyon çerçevesi oluşturulmuştur. Bu çerçeve, yaya davranışlarını gerçekçi şekilde taklit eden senaryoların oluşturulmasına imkan tanımış ve ani yön değişimleri, yoğun kalabalık oluşumları ve sık görülen görüş engellemeleri gibi karmaşık dinamikleri içermektedir. Takip sistemi baştan sona geliştirilmiş ve veri ilişkilendirme, iz yönetimi ve sahte ölçümlerin üretilmesi için özelleştirilmiş modüller entegre edilmiştir. Bu karşılaştırmalarda, tahmin filtresi olarak lineer Kalman filtresi kullanılmıştır. Bunun için kalabalıktaki insan akışını daha iyi simüle edebilmek adına senaryo üretimi yapılmıştır. Her bir algoritmanın performansı, Trajectory-Generalized Optimal Sub-pattern Assignment (T-GOSPA) metriği kullanılarak toplam 200 simüle edilmiş yaya senaryosunda sistematik olarak değerlendirilmiştir. Aynı zamanda, algoritmaların hesaplama verimliliğini ölçmek her bir zaman adımını işleme süreleri ölçülmüştür. Yapılan detaylı analizlerde, kaçırılan hedeflerin takip doğruluğunu en fazla etkileyen faktör olduğu ve toplam T-GOSPA skorunun yaklaşık %72,2'sini oluşturduğu gözlenmiştir. Konum hataları yaklaşık %17,0 ile ikinci sırada yer alırken, yanlış izler ve kimlik değişimleri toplam hatanın yaklaşık %9,1'ini oluşturmuştur. Görece olarak küçük olmalarına rağmen, yanlış izler ve kimlik değişimleri, veri ilişkilendirme algoritması seçimine oldukça duyarlı sonuçlar göstermiştir. JPDA, yanlış izleri yaklaşık %21,0 ve kimlik değişimlerini yaklaşık %9,9 oranında azaltarak GNN'ye göre belirgin iyileştirmeler sergilemiştir. Bu güçlü yönlerin üzerine inşa edilen önerilen hibrit yöntem, yanlış izlerin azaltılmasında JPDA performansını biraz geliştirmiş ve kimlik değişimlerini azaltmada JPDA'ya göre yaklaşık %4,5, GNN'ye göre ise yaklaşık %13,9'luk kayda değer bir üstünlük sağlamıştır. Hibrit yöntem bu iyileştirmeleri, konum doğruluğunu ya da kaçırılan hedeflerin sayısını olumsuz etkilemeden gerçekleştirmiş ve dengeli bir alternatif olarak kendini ortaya koymuştur. Hesaplama verimliliği açısından, GNN en hızlı algoritma olarak ortaya çıkmış ve JPDA'dan yaklaşık %13 daha hızlı çalışmıştır. Hibrit yaklaşım ise GNN'den yaklaşık %12,2 oranında daha yavaş olmakla birlikte JPDA'dan yaklaşık %2,4 daha verimli çalışmıştır. Hibrit yaklaşımın, JPDA ve GNN arasındaki hesaplama performansı farkını yaklaşık %18,5 oranında kapatması, özellikle kaynakları kısıtlı robotik sistemlerde gerçek zamanlı uygulamalar için uygunluğunu ortaya koymuştur. Gelecekteki çalışmalar, bu bulguları yalnızca simülasyon ortamında değil, gerçek dünya koşullarında da test ederek doğrulamayı hedeflemelidir. Gerçek ortamdaki değişkenlikler, sensör belirsizlikleri ve beklenmedik insan davranışları, algoritmaların dayanıklılığını ve genellenebilirliğini daha iyi değerlendirmek için kritik birer test unsuru olacaktır. Ayrıca, farklı robot platformlarında ve çeşitli senaryolarda yapılacak deneyler, önerilen yöntemin uygulanabilirliğini daha kapsamlı biçimde ortaya koyacaktır. Farklı sensör hata karakteristikleri ve sahte ölçüm sayısının olduğu durumların da karşılaştırmaya dahil edilmesi, bir sonraki çalışmanın değerlendirme çerçevesini genişletecektir.