A social navigation approach for mobile assistant robots

Abstract

Robots are becoming a part of our lives and we expect robots to act in a similar way to avoid interference with our safety and social being. Robots which are employed in human-robot interactive social areas such as malls or hospitals should benefit from a compliant navigation approach that is built upon a level of human aware and socially intelligent behavior. This compliance is more than mere avoidance and requires legible robot motion so that rational agents as humans are should understand and predict the robot motion (eliminate uncertainty in robot behavior) to adapt their motions accordingly. Furthermore, the robot requires understanding social etiquettes and rules and anticipates social/ethical interactions as much as humans. Otherwise, no matter how efficiently the robot navigates from one point to another, it will be realized as an unsocial individual because of the possibility of violating people's social zones or blocking their way. Hence, the robot behavior will be realized as inhuman-like and affect the interaction quality with the humans negatively. Mobile robots with enhanced social skills by considering to interact with humans verbally or non-verbally (e.g. sign language) should have unified trajectory planning algorithms that not only calculate the shortest path while avoiding obstacles to the defined goal while navigating, but also have human awareness not to annoy any human. A large number of researchers are currently proposing socially aware navigation approaches. It is an active research field combining navigation, perception, and social intelligence. The primary motivation of all these approaches is increasing psychological safety and comfort in human-robot interactive social environments as much as possible. ROS is the de facto standard in research robotics and offers us the ability to use multiple platforms and languages and to incorporate standard solutions to robot problems. Therefore, we first integrated the Mantaro TeleMe2 telepresence robot into the ROS ecosystem to drive the robot autonomously through the newly proposed hardware architecture. Then, the robot is made ready to provide all the necessary nodes to perform social navigation by developing Teleme2 ROS packages from scratch. Robot navigation in an unknown dynamic environment prefers to solve localization and mapping problem concurrently. As a result, the robot uses simultaneous localization and mapping(SLAM) technique to localize itself (pose estimation) and map the environment as well as our socially-aware motion planning algorithm. For online motion planning, potential fields are a common approach for static environments. This approach is first adopted as a social force model (SFM) to describe the motion of pedestrians in very crowded escape scenarios. According to this model, human behavior is affected by some forces (think of a vector field over the space) for acceleration, deceleration and directional changes. The idea behind the model makes it a good candidate for local path planning and expected to generate more human-like trajectories for the robot. That enables a robot to imitate the comprehensibility of the inner dynamics of human motion efficiently dependent on its motion constraints. SFM-based motion planner is computationally light which is appropriate in an uncertain dynamic environment to re-plan frequently. The algorithm does not directly find a collision-free path for the robot. The technique outputs the desired acceleration vector through the dynamic interactions of the robot at each time step and integrates the acceleration into its motion in order to obtain the collision-free path. At every point in time, the robot looks at the resultant total force at the point and imposes/applies as a control law to determine the direction of travel and speed. SFM may be a good choice since we don't need to enforce that the robot exactly follows a reference path, but instead stays within limits guaranteeing people's safety and comfort. In the thesis, we propose a social navigation system under unknown environments by integrating SFM and SLAM. Except for SFM computational time efficiency, the application of conventional SFM to social robot navigation problems present shortcomings and limitations. One problem of the integration of two technologies is the noise of SLAM that causes undesired navigation of the social force model. We introduce the idea of multi-level mapping to filter the noise within reasonable computational cost. The other problem is that the robot may oscillate because it has no incentive not to do so due to sudden changes in force lengths, discontinues at some points and sensor noise. To this end, one solution is to ensure smoothing by constraining the change in forces. That way, you impose continuity in the steering. In addition, SFM-based local motion planner is used with A* global planner not to be stuck on local minima situations. The whole plan is not directly assigned to the robot since the global path has too many grid nodes and it is infeasible to follow the path in such a dynamic human uncertain environment. Therefore, the key path points of the global path are extracted by proposed subgoals selection algorithm. Extracted points are incrementally passed to the robot for smooth and legible robot navigation behavior. Finally, we conduct simulation and user experiments as well as evaluate the effect of the proposed idea. We verify the results in real environments as simulation environments have limitations with quantitative and qualitative evaluations. This study has been developed as a part of TUBITAK project 118E214. In the future, we will continue to develop the study further, for the social navigation of assistive robots in crowded environments such as hospitals and schools in accordance with the safety and social distance rules.

Robot gezinmesi, özellikle robotların gündelik hayatta var olmaya başladığı günümüzde, robotik alanındaki en önemli konulardan birini teşkil etmektedir. Gerçek zamanlı olarak çalışan robotlar için özellikle performans artırımı ve enerji tüketiminin azaltılması yönünde etkili algoritmalar geliştirilmektedir. Durgun ya da dinamik ortamlarda kullanılması düşünülerek geliştirilen birçok gezinme algoritması maliyet haritalarını kullanmaktadır. Çevredeki hareketli veya static engele olan mevcut uzaklığa göre çarpışmadan en kısa ve düşük maliyetli yolun hesaplandığı aynı zamanda anlık değişimlere tepki verebilen yaklaşımlardır. Bu yaklaşımlar tüm durgun ve hareketli nesneleri kaçınılması gereken engeller olarak dikkate almakla birlikte ortamdaki insanların psikolojik konforunu ve sosyal kuralları dikkate alan bir sosyal bir gezinme planlaması yapmamaktadır. Sosyal robot gezinmesi, navigasyon ve insan-robot etkileşimi çalışma konularını ortak bir amaçla birleştiren, araştırma için yeni ve aktif bir alandır. Geliştirilen servis robotlarına sosyal kuralları ve insan fiziksel ve psikolojik güvenliğini dikkate alacak şekilde otonom gezinme görevlerinin verilmesi yeni yaklaşımlarını beraberinde getirmiştir. Bu robotların yalnızca kendilerine ayrılan özel bir ortamda belli amaçları gerçekleştirmek için değil, insan robot etkileşimli ortamlarda insanlara hizmet amaçlı kullanımı hedeflenmektedir. Bu aşamada önceki geliştirilen hareket planlama algoritmaları özellikle insanların hareket halinde bulunduğu kapalı iç ortamlarda çalışması düşünülen servis robotları için yetersiz hale gelmektedir. Robotun hareketi esnasında belirlenen hedefe en kısa yolu hesaplamakla birlikte aynı zamanda sosyal farkındalığı da olan, insanların fiziksel güvenliği ile sosyal mesafeyi de dikkate alan yeni birleşik bir sosyal navigasyon algoritması gerekmektedir. İlk olarak robotun engel türünü farketmesi, insanlar ve insan olmayan objeler için farklı davranışlar sergilemesi gereklidir. Bununla birlikte insan hareketini analiz edip, değerlendirebilmelidir. Sosyal navigasyon sisteminin temel amacı, robotun hareketi sırasında çevredeki hareketli ya da durgun insanların sosyal mesafesini mümkün olduğunca ihlal etmemesini sağlamaktır. Bu sayede robot, insan benzeri davranışlar sergileyecek ve sosyal bir varlık gibi algılanıp insanlardan tarafından içselleştirilebilecektir. Sonuç olarak, insanlarla aynı ortamı paylaşan sosyal ve yardımcı robotlara güven sağlanmış olmakla birlikte bu robotlardan daha çok verim alınabilecektir. Bu çalışmada robota insan etkileşimli ortamda otonom gezinmesi sırasında yol planlamasını çevresindeki insanlara göre sosyal olarak uyarlayabilme yeteneği kazandırılması hedeflenmiştir. Bu amaca uygun olarak ortak gereksinimler tespit edilmiş ve robot testleri için MantaroBot TeleMe 2 telepresence robot platformu kullanılmıştır. Robot platformu, hareketli bir robotik tabana monte edilmiş bir LCD ekran (tablet) ile karakterize edilebilir. Robotun taban kısmı diferansiyel sürüşlü 3 tekerleğe sahip olup ayrıca üzerinde engel tespiti için iki kızılötesi optik alıcı-verici bulunmaktadır. Mevcut donanım alt yapısı sosyal gezinme görevleri için kısıtlı bir donanım ve yazılım API'si sağlamaktadır. Bu yüzden robot platformu eklenen ve geliştirilen yeni donanım mimarisi ile otonom sosyal gezinme görevleri için uygun hale getirilmiştir. Robot üzerine konum kestirimi ve engellerden sakınma için lazer mesafe ölçüm duyargası, derinlik algılayabilen kamera, planlama ve motor kontrolü gibi düşük seviye ve yüksek seviye kontrol görevleri için tek bir karttan oluşan mini bilgisayarlar (single board computer); Udoo x86 Ultra, Raspberry Pi3 Model B+ ve Arduino Uno yerleştirilmiştir. Donanım mimarisi ROS (The Robot Operating System) uyumluluk desteği ile donatılmıştır. ROS, (otonom) robotik projeleri ve uygulamalarında oldukça yaygın kullanılan açık kaynak kodlu bir arayüz yazılımıdır (middleware). Robot ve robot sistemini oluşturan donanımlar üzerinde farklı diller (C++, Python, etc.) kullanma ve temel robotik problemleri için genel amaçlı yazılımlar sunmaktadır. Bu sayede hem zaman hem de iş gücü tasarrufu sağlanmış olmaktadır. Bu nedenle, ilk olarak Teleme2 robotunu otonom olarak kontrol edebilmek için Teleme2 ROS paketleri sıfırdan geliştirilmiş ve otonom sürüşü sağlanmıştır. İnsan-robot etkileşimli ortamda robotun sosyal gezinme becerileri için insanın zamansal iki boyutlu konumunu ve hızını doğru bir şekilde takip edebilmek ve insan hareketini analiz edip, değerlendirebilmek için insan takip modülü oluşturulmuştur. Robot üzerindeki lazer ve derinlik algılayabilen sensörlerden alınan veriler yardımıyla robotun çevresindeki insanları algılaması ve insan hareket modeli tahmini yapabilmesi sağlanmıştır. Bacak detektörü (leg detector) modülü kullanılarak iki boyutlu insan pozisyonları lazer verilerinden tahmin edilir. Lazer verileri, bacak verileri ile eğitilmiş bir sınıflandırıcıya beslenerek önce bacaklar ayrı ayrı tespit edilirek insan pozisyonu kestirimi yapılmaktadır. Buna ek olarak yanlış olarak sınıflandırılan örneklerin önüne geçmek ve sınıflandırma doğruluğunu artırması bakımından insan algılama modulü derinlik algılayabilen sensör yardımıyla desteklenmiştir. İnsan üst vücut kısmı derinlik tabanlı bir üst vücut detektörü algoritmasının sisteme uyarlanmasıyla tespit edilmiştir. İki sensörden elde edilen verilerin zaman ve uzamsal senkronizsyonu sağlanarak hem bacak detektöründen hem de üst vücut detektör sensörlerinden tespit edilen pozisyon bilgileri birleştirilerek daha gürbüz bir insan takibi gerçekleştirilmiştir. Robotun haritaya göre göreceli konumunun bilindiği bir mekana ya da hedefe insansı hareketler sergileyerek kendi kendine gitme görevi verilen robot, eş zamanlı oluşturulan harita ve konum bilgisi ile robotun çevresindeki insan pozisyon bilgileri Sosyal Kuvvet Modeli (SKM) tabanlı proaktif sosyal hareket planlama modeline beslenmiştir. Raslantısal yaya hareketini modellemek için önerilen SKM, yerel planlayıcı olarak hareketli robotların sosyal biçimde insanlar arasında gezinmesi amacıyla uyarlanmıştır. İlk olarak SKM, kalabalık insan yoğunluğu yaya davranışını içeren acil durum senaryolarını modellemek üzere geliştirilmiştir. Araştırmacılar tarafından daha sonraları bu model sosyal olarak kabul edilebilirliği daha yüksek yol planları üretme amacıyla kullanılmıştır. Bu modele göre, insanların yürüme davranışları (yön değişiklikleri, yavaşlama ve hızlanma) çevresinden kendisine uygulanan kuvvetlerin etkisine göre belirlenmektedir. Bu kuvvetler temel olarak itici ve çekici kuvvetler olarak iki sınıfta incelenirler. Çekim merkezi hedefine doğru (herhangi insan veya noktaya) yönelmesini çekici kuvvet sağlar. Hedefe doğru ilerlerken insan hareketi görüş alanındaki diğer insanlar ve engellerden tarafından gelen itici güçlerden etkilenir. İtici kuvvetler, insanın hedef doğrultusundan sapmasına neden olurlar. Bu anlamda diğer insanlar ve engellerle arasındaki güvenli mesafeyi korumasını ya da uzaklaşmasını sağlayan bu kuvvetler de itici kuvvetler olarak isimlendirilmiştir. SKM itici ve çekici kuvvetlerin girdi vektörlerine göre her t zamanı için bir hızlanma vektörü hesaplar. Bu yaklaşım insan-robot sosyal etkileşim ortamında insan hareketini taklit etmesi beklenen robot için düşünüldüğünde çekici kuvveti oluşturan hedef konumları ve itici kuvvetleri oluşturan insanlar ve durgun engeller bulunmaktadır. İtici ve çekici kuvvetlerin toplam etkisi robot hareketini belirler. Sonuç olarak, her t anı için robotun hızını belirleyen hızlanma vektörü kartezyen koordinatlarda elde edildikten sonra kutupsal koordinatlarda hız komutlarına dönüştürülerek robot motor denetleyicisine iletilir ve robotun verilen hedefe ulaşımı sağlanır. Sosyal gezinmeyi gerçekleştirecek yerel hareket planlıyıcı ve insan takip modülünün de sisteme eklenmesi ile, Teleme2 robotu sosyal otonom görevler için kullanıma hazır hale getirilmiştir. Önerilen sosyal navigasyon sisteminin performansı "insan rahatı güvenlik endeksleri" olarak tanımlanan sosyal bireysel endeks (SBE) ve rölatif hareket endeks (RHE) parametreleri ile değerlendirilmiştir. SBE insanın fiziksel ve psikolojik rahatını belirlemek için kişisel alan bölgeleri, proxemics, baz alınarak kullanılan bir kriterdir. RHE ise insan hareketini önceden önlem alacak (proaktif) şekilde bir sakınma yapıp yapamadığını gösteren bir kriter olarak tanımlanmıştır. Bu iki kriter birlikte değerlendirilerek yaptığımız çalışmada güvenli ve sosyal mesafeye uygun bununla beraber robotun insan hareketini önceden tahmin ederek proaktif bir şekilde sakınma yapabilen bir robot gezinmesi gösterilmiştir. Bunun yanında fizyolojik sinyaller insanların duygularını ve stres seviyelerini tespit etmek için literatürde sıklıkla kullanılmaktadır. Robotun sergilediği sosyal ve sosyal olmayan gezinme davranışları sırasında katılımcılara anketler yapılmış ve Empatica E4 bileklik takılarak katılımcıların gerçek zamanlı fizyolojik verileri alınmıştır. E4 bileklik üzerinde bulunan electro-magnetic activity sensörü aracılığıyla deri iletkenliği verisi (EDA), fotopletismografi sensörü ile kan hacmi nabzı (BVP), 3D ivme ölçer sensörü ile fiziksel aktivite verileri ve kızılötesi ısıpil sensörü ile deri sıcaklığı (TEMP) verileri toplanmıştır. Bu sayede robotun sergilediği navigasyon modelinin katılımcılar tarafından sosyal olarak algınıp algılanmadığı belirlenmeye çalışılmıştır. Katılımcılardan robotla etkileşimleri sırasında hem E4 bileklik kullanılarak toplanan fizyolojik verileri, hem de deney öncesi ve sonrası yapılan anket sonuçları, sırasıyla geleneksel navigasyon ve sosyal navigasyon yeteneği kazandırılan robotla senaryolarını karşılaştırmak için analiz edilmiştir. E4'ten elde edilen ham veriler normalize edilip derin öğrenme tabanlı bir model ile sınıflandırılmıştır. Sınıflandırma başarımı leave one person out çapraz geçerlilik yöntemi ile değerlendirilip, doğruluk ve f-measure değerleri verilmiştir. Bu çalışma 118E214 nolu TUBITAK projesi kapsamında geliştirilmiştir. Gelecekte hastane, okul gibi kalabalık ortamlarda yardımcı robotların insanlar arasında güvenli ve sosyal mesafe kurallarına uygun olarak gezinimi için çalışmanın geliştirilmesi sürdürülmektedir.