Otonom araçlar ile yayalar arası iletişim için lazer tabanlı projektör bildiri sistemi geliştirilmesi

Abstract

Sürücüsüz (insansız) araçlar olarak da adlandırılan otonom araçlar çeşitli kontrol algoritmaları, teknolojik donanımları ve tasarımları sayesinde özerk hareket etme kabiliyetine sahip olan araçlardır. Yakın gelecekte günlük hayatımızın birer parçası olacak otonom araçların yaygınlaşma hızı ve bu araçlar üzerinde yapılan araştırmalar, çalışmalar ve gelişmeler artarak devam etmektedir. 1950'li yıllardan günümüze kadar geçen süreçte önemli gelişmeler kat eden otonom araçlar, otonomluk kademelerine göre 5 seviye olarak değerlendirilmektedir. Otonom araçlar trafikte insan faktörünü ortadan kaldırarak önemli avantajlar elde etmiştir. Bunlardan bazıları trafik güvenliğini ve mobiliteyi artırmak; trafik sıkışıklığını, egzoz emisyonlarını ve seyahat masraflarını azaltmaktır. Bu avantajlarının yanı sıra otonom araçların hala geliştirme açık yönleri mevcuttur. Bu eksikliklerin başında otonom araçlara karşı duyulan güven eksikliği ve insanlar tarafından kabul edilmemeleri gelmektedir. Otonom araçlar her ne kadar yeterli donanıma sahip olmalarına ve hatta normal sürücülü araçlardan daha güvenli yolculuk imkanı sunmalarına rağmen oluşan bu güven eksikliğinin sebebi otonom araçların insan sürücüler gibi davranışlar sergileyememesinden kaynaklanmaktadır. Bu problemin temel kaynağı ise otonom araçlar ve yayalar arasındaki iletişim eksikliğinden doğmaktadır. Bir araç ile yayanın karşılaşması esnasında sürücüler ile yayalar arasında iletişim kurulmaktadır. Kurulan bu iletişim sayesinde yayalar araçların hamleleri hakkında bilgiye sahip olmakta ve sürücüden gelen talimatları görebilmektedir. Karşılıklı gerçekleşen kısa süreli bu müzakerede insan sürücüler ve yayalar bir karar alarak uygulamaktadır. İnsan sürücüler ile yayalar arası iletişim genel olarak el işaretleri, yüz ifadesi, göz teması ile gerçekleştiği görülmektedir. Otonom araçlar ile birlikte, kabul gören bu mevcut yaklaşımların ortadan kalkması ile otonom araçların davranışlarının yayalar tarafından anlaşılması güçleşmiştir. Bu iletişim kopukluğu kazalara sebep olabilmekte, yolların verimli kullanımını sınırlayabilmekte ve yayaların otonom araçlara karşı güven hisleri zedelenebilmektedir. Bu tez çalışması kapsamında otonom araçlara duyulan güven eksikliğini ortadan kaldırmak, kabul edilebilirliğini ve yaygınlaşma hızını artırmak adına otonom araçlar ile yayalar arasında iletişim bağı kuracak lazer tabanlı projektör sistemi geliştirilmiş ve prototip üretimi gerçekleştirilmiştir. Böylece otonom araçlar ile yayalar arasındaki iletişim faktörüne farklı bir çerçeveden bakılarak yenilikçi bir çözüm önerisi getirilmiştir. Geliştirilen lazer tabanlı projektör sistemi mekanik, elektronik, yazılım ve görüntü işleme gibi disiplinlere sahiptir. Kontrol sistemi kamera ve sensörden gelen sayısal verileri girdi olarak kabul edip işleyerek nihai çıktı olan görsel mesajların yansıtılmasını sağlar. Sistemde kullanılan USB bağlantıya sahip kamera sayesinde görüntü işleme algoritmasına anlık canlı olarak video kaynağı sağlanmaktadır. Açık kaynak OpenCV kütüphanesinin Python programlama dili kullanılarak koşulması ile görüntü işleme algoritması çalıştırılmaktadır. Böylece araç önünde bulunan yayaların insan bedeni ve insan yüz tespiti şablonlarından yararlanılarak 2 kademeli insan tespiti görüntü işleme algoritması ile gerçekleştirilmektedir. Görüntü işleme algoritmasının Arduino ile haberleşmesi Pyserial platformu ile gerçekleştirilmiş ve anlık veri akışı sağlanmıştır. Tespit edilen yayanın araca uzaklığı ise ultrasonik mesafe sensörü kullanılarak tayin edilir. Tayin edilen uzaklık, kontrol sisteminde tanımlı olan mesafe aralıklarına göre önceden belirlenmiş senaryolardan uygun mesaj içerikli olanının tetiklenmesini sağlar. Eğer araç önünde insan tespiti gerçekleştirilmez ise lazer tabanlı projektör sistemi yansıtma gerçekleştirmez. Araçtan yayaları bilgilendirici veya uyarıcı mesajların içeriği ve hangi renk lazerin aktif olacağı kontrol sisteminde tanımlanmıştır. Yaya araca tehlike arz edecek yakınlıkta bulunduğunda yani ilk 2 senaryoda kırmızı renkli lazerler yardımı ile uyarıcı mesaj içerikleri yansıtılmakta ve yayanın otonom araca yol vermesi gerektiği belirtilmektedir. Yayanın araca uygun mesafede bulunması durumunda otonom araç yayaya yol verecek şekilde hamlesini düzenlemekte ve lazer tabanlı projektör sisteminden yeşil renkli lazer ile bilgilendirici görsel mesaj yansıtılmaktadır. Bu mesaj içeriğinden yaya rahatlıkla karşıdan karşıya geçebileceğini anlayabilmektedir. Lazer tabanlı projektör sistemde önceden tanımlanmış ve kullanılan 4 adet senaryonun oluşturulması için jpeg formatında bulunan resimlerin bazı aşamalardan geçmesi gerekmektedir. Bunlardan ilki fotoğrafın vektörel formata dönüştürülmesidir. Vektörel formattaki fotoğraf GO ve G1 formatlarını içeren G-koduna dönüştürülmesi gerekmektedir. Bu G-kodu lazer ışınlarının rotasını belirlemektedir. Aynı zamanda lazer ışınlarının anlamlı şekiller halinde gözün yakalayamayacağı hızlarda rotasını takip ederek görünür şekiller elde edilebilmesi için bazı atlamalar yapması gerekmektedir. Bu lazer ışınlarının atlaması G-kodunun başındaki 0 karakteri ile sağlanmakta ve lazere giden güç anlık olarak kapatılarak bir sonraki satırda tekrar açılmaktadır. Bu işlemler dizisindeki son adım ise G-kodu formatındaki verilerin Arduino kartında anlamlandırılabilmesi için hex formatına dönüştürülmesidir. Bu dönüşüm sırasında Python dilinde yazılmış bir kodlamadan yararlanılmakta ve 10'luk sayı tabanındaki veriler 16'lık sayı tabanı ile elde edilmek suretiyle Arduino senaryolar kütüphanesine gömülmüştür. İletişim çevriminin karşılıklı sağlandığı bu sistem dahilinde yeşil ve kırmızı renkli lazerler, X/Y galvo tarayıcısı, sürücü kartları, dijital analog dönüştürücü ve Op-amp entegre mikroçipleri ile güç kaynağı başlıcaları olmak üzere çeşitli donanımlar kullanılmıştır. Bu donanımların kontrolünde Arduino sürücü kartından, Python programlama dilinden ve OpenCV açık kaynak kütüphanesinden yararlanılmıştır. Sistem elektronik tasarımında Fritzing, mekanik tasarımında Solidworks platformları kullanılmıştır. Sistemin çalışma mantığı; lazer ışınlarının sürücü kartları tarafından kontrol edilen galvo motorları ucundaki iki eksende belirli limitler dahilinde dönen aynalar üzerine düşürülüp yansıması sonucu projeksiyon alanında anlamlı görsellerin oluşturulması ve bu görsellerin yayalar tarafından yorumlanmasına dayanmaktadır. Bu interaktif iletişimin iki yönü yaya ve araç arasındaki bilgi aktarımı ile gerçekleşmektedir. Görüntü işleme algoritması ve mesafe sensörü ile insandan araca, araç önünde bir yaya olduğu bilgisi ve ne kadar uzaklıkta olduğu bilgisi aktarılmaktadır. Görsel mesajlar sayesinde araçtan insana aktarılan bilgi ise aracın bir sonraki hamlesi ve yayanın hangi tutumu sergilemesi gerektiği bilgisidir. Sonuç olarak tez çalışması kapsamında güvenli trafik ortamının oluşturulması ve otonom araçların güvenilebilirliği ve kabul edilebilirliğini arttırılması adına otonom araçlar ile yayalar arasında iletişim ve etkileşim kurulmasına yönelik bilimsel çalışmalar sürdürülmüş. Otonom araçlarda, normal sürücüler ile yayalar arasındaki iletişim bağlarının yerini alacak nitelikteki lazer tabanlı projektör sistemi üzerinde çalışılmıştır. Ayrıca uygulanabilirliği yüksek ve geliştirmeye açık prototip sistem laboratuvar ortamında elde edilmiştir.

Autonomous vehicles, also called driverless (unmanned) vehicles, are vehicles that have the ability to act autonomously thanks to their various control algorithms, technological equipment and designs. The prevalence of autonomous vehicles that will be a part of our daily lives in the near future and the researches, studies and developments on these vehicles continue to increase. Autonomous vehicles, which have made significant improvements in the period from 1950s to the present, are evaluated as 5 levels according to their autonomy levels. Autonomous vehicles have gained important advantages by eliminating the human factor in traffic. Some of these are to increase traffic safety and mobility; to reduce traffic congestion, exhaust emissions and travel expenses. In addition to these advantages, autonomous vehicles still have aspects that are open to development. One of these shortcomings is the distrust of autonomous vehicles and the inability of people to accept these vehicles. Although autonomous vehicles have sufficient equipment and even offer safer travel than normal driver vehicles, the reason for this lack of trust is due to the inability of autonomous vehicles to behave like human drivers. The main source of this problem arises from the lack of communication between autonomous vehicles and pedestrians. Communication between drivers and pedestrians is established during the encounter of a pedestrian with a vehicle. Thanks to this communication, pedestrians have information about the moves of the vehicles and can see the instructions from the driver. In this mutual short-term negotiation, human drivers and pedestrians take a decision and implement it. Within the scope of this thesis, a laser based projector system has been developed and prototype production has been developed in order to eliminate the lack of trust in autonomous vehicles and to increase its acceptability and speed of spread. Thus, an innovative solution proposal was introduced by looking at the communication factor between autonomous vehicles and pedestrians from a different perspective. The developed laser based projector system has disciplines such as mechanical design, electrical design, software and image processing. The control system accepts and processes the numerical data from the camera and sensor as input, to ensure that the final output visual messages are reflected. Thanks to the camera with a USB connection used in the system, a video source is provided instantly to the image processing algorithm. By processing the open source OpenCV library using the Python programming language, the image processing algorithm is run. Thus, 2-stage human detection is performed with an image processing algorithm by making use of the human body and human face detection templates of pedestrians in front of the vehicle. Communication of the image processing algorithm with Arduino was realized with the Pyserial platform and instant data flow was provided. The distance of the detected pedestrian to the vehicle is determined using an ultrasonic distance sensor. The determined distance ensures that one of the pre-determined scenarios with the appropriate message content is triggered according to the distance intervals defined in the control system. If human detection is not performed in front of the vehicle, the laser based projector system does not reflect. The content of informative or warning messages from pedestrians and which color laser will be active are defined in the control system. When the pedestrian is close enough to the vehicle, that is, in the first 2 scenarios, the warning message contents are reflected with the help of red lasers and it is stated that the pedestrian should give way to the autonomous vehicle. If the pedestrian is located at a suitable distance from the vehicle, the autonomous vehicle organizes its move to give way to the pedestrian and an informative visual message is reflected from the laser based projector system with a green laser. From this message, the pedestrian can easily understand that he can cross the street. In order to create 4 predefined and used scenarios in the laser based projector system, the pictures in jpeg format must go through some stages. The first is the conversion of the photograph into a vectorial format. The photo in vectorial format needs to be converted to G-code containing GO and G1 formats. This G-code determines the route of the laser beams. At the same time, it is necessary to make some jumps in order to obtain visible shapes by following the route of the laser beams in meaningful shapes at speeds that the eye can not catch. The jump of these laser beams is provided with the 0 characters at the beginning of the G-code, and the power to the laser is momentarily turned off and turned on in the next line. The last step in this series of operations is to convert the G-code format data to hex format so that it can be interpreted in the Arduino board. During this conversion, a coding written in Python language is used and the data in the 10-number base is obtained with the 16-number base and is embedded in the Arduino scenarios library. Within this system, where communication cycle is provided mutually, various equipment including green and red lasers, X/Y galvo scanner, driver cards, digital-analog converter, and Op-amp integrated microchips and power supply are used. Arduino driver board, Python programming language, and OpenCV open-source library were used to control this hardware. Fritzing platforms are used in the electronic design of the system and Solidworks platforms are used in mechanical design. Working logic of the system; It is based on the creation of meaningful visuals in the projection area and their interpretation by pedestrians as a result of the laser beams being dropped and reflected on the rotating mirrors within certain limits on the two axes at the end of the galvo engines controlled by the driver cards. Two aspects of this interactive communication are realized by the transfer of information between the pedestrian and the vehicle. With the image processing algorithm and distance sensor, the information from the person to the vehicle is transmitted to the vehicle in front of the vehicle and how far it is. The information conveyed from person to person through visual messages is the next move of the vehicle and the attitude of the pedestrian. As a result, within the scope of the thesis, scientific studies have been carried out to establish communication and interaction between autonomous vehicles and pedestrians in order to create a safe traffic environment and increase the reliability and acceptability of autonomous vehicles. In autonomous vehicles, a laser based projector system has been studied to replace communication links between pedestrians and pedestrians. In addition, the prototype system with high applicability and open for development was obtained in a laboratory environment.