Multi-sensor Lane Tracking And Lane Departure Warning System Design

Abstract

2010 yılındaki raporlara göre trafikte 1 milyarın üstünde taşıt bulunmakta ve günlük hayatta hem şehir içi hem şehir dışı ulaşım için çok yoğun bir şekilde taşıt kullanılıyor. Bu durum göz önüne alındığında, kullandığımız taşıtların güvenliği can güvenliğimiz için önemli bir role sahip. Dünya Sağlık Kuruluşu (WHO) tarafından 2013 yılında yayınlanan raporda trafik kazalarının insan ölümlerinin nedenleri sıralamasında sekizinci sırada olduğu ifade edilmiştir. Aynı raporda yapılan araştırmalarda bu trafik kazalarının %90’ı sürücü hatalarından kaynaklandığı sonucuna varılmıştır. Bu sürücü kazalarını engellemek amacı ile araç güvenliği sistemlerini zorunlu kılan yasa tasarıları hazırlayarak hükümetler araç güvenliği sistemlerini son yıllarda daha yaygın hale getirmeye çalışmaktadır. Araç güveliği sistemleri aktif ve pasif olarak ikiye ayrılır, aktif araç güvenlik sistemlerinin tasarım amacı trafik kazalarını engellemek amacıyla tasarlanmış sistemlerdir. Diğer yanda pasif araç güvenliği sistemleri ise, trafik kazalarının etkilerini azaltmak üzerine tasarlanmış sistemlerdir. Aktif araç güvenlik sistemlerine kilitlenme karşıtı frenleme sistemi, çekiş kontrol sistemleri veya şerit takip sistemleri örnek olarak verilebilir. Öte yandan emniyet kemeri, hava yastığı ve koltuk başlıkları pasif araç güvenliğindeki ilk akla gelen örneklerden bazılarıdır. Bu tez çalışmasında, IMU ile desteklenmiş yapay görü ile şerit takip sistemi tasarlanmış ve test edilmiştir. Şerit takip sistemleri bir çok alt algoritmayı yapısında bulundurması nedeniyle geçmişte bu alanda yapılan çalışmalar beş başlık altında anlatılabilir. Bu başlıklar şu şekilde isimlendirilebilir , yapay görüde şeritleri bulma yöntemleri, şerit modelleri, şeritlere ait olmayan örnekleri ayırma, takip ve sisteme destek olacak yapay görü harici algılayıcıların eklenmesi. Kameradan elde edilen görüntüler genelde, görüntüdeki köşe veya kenarları ön plana çıkaracak ,’steerable’ filtre veya ‘sobel’ filtresi gibi filterelerden geçirilir. Bu filterelerden geçen görüntü belli bir eşik değerine göre kestrim uygulanıp iki rakamlı görüntüye yani sadece birlerden ve sıfırlardan oluşan bir görüntüye çevrilir. Bu filterden bazıları , örneğin ‘steerable’ filtre sabit bir şerit işareti genişliği için doğru sonuclar verebilir. Fakat kamera aracın önündeki yola baktığı için perspektif sebebi ile şeritler araçtan uzaklaştıkça şerit işareti genişliği azalır. Bu problemi aşmak için litaratürde, ters perpektif haritalama uygulaması önerilmiştir. Bu haritalama methodu sayesinde görüntü kuş bakışına çevrilir ve perspektif problemi ortadan kalkar. Şeritin kullanılan modeli ile , şeritlere ait olmayan örnekleri ayırma işlemleri birbirleri ile doğrudan bağlantılıdır. Şerit veya yol modeli , sistemin tahmini çalışma koşulları göz önüne alınarak belirmesi gerekir. Örneğin, yüksek hızlarda çalışacak bir şerit takip sistemi için şerit veya yol modelinin daha düşük hızlar için tasarlanmış sistemlere göre aracın önündeki daha uzun bir mesafede yolu doğru temsil edebilmesi gerekir. Aynı zamanda yol modelleri işlem gücü gereksinimini doğrudan belirleyen bir faktör olduğu için çok ayrıntılı bir model de gerçek zamanlı çalışma durumunda problemler yaratabilir. Şeritlere ait olmayan örnekleri ayırma veya filtreleme işleminde elde edilen veriye önceden blirlenmiş bir model uydurma işlemi yapay görü sisteminin şerit bulma aşamasındaki son adımıdır. Bu adım sonucunda belirlenmiş bir modelin bilinmeyen katsayıları elde edilen verilere göre tahmin edilir. Litaratürde bu işlem için , RANSAC, en az kareler veya metropolis algoritması gibi yöntemler kullanılmıştır. Yapay görü sayesinde bulunan şeritler hem sadece yapay görü sistemi bünyesinde hem de başka algılayıcılar ile birlikte kullanılarak takip edilebilir. Şerit takibi için en sık kullanılan yöntemlerden doğrusal sistemler için bir uyarlamalı kestrim algoritması olan Kalman filtresidir. Fakat, şerit takip sistemleri ancak gerçek ile oldukça çelişen ciddi varsayımlar yapılarak doğrusal bir sistem haline getirilebilir. Bu nedenle Kalman filtresi temel alınarak doğrusal olmayan sistemler için geliştirilmiş olan genişletilmiş Kalman filtresi ve yine doğrusal olmayan sistemler için uygun olan parçacık filtresi litaratürde kullanılmıştır. Litaratürde şerit takip sistemleri genellikle , aracın şerit içindeki hareketini takip etmek üzere tasarlanmışır. Ayrıca, görüntü üzerinden yola çıkılması sebebi ile, yapay görü ve şerit takip sisteminde araç sabit kabul edilip şeritler hareketli kabul edilmiştir ki bu pratikte kesinlikle yanlıştır. Bu tez çalışmasında şerit takip sisteminin çalıştığı taşıtın önceden bilinmeyen bir ortamda çalıştığı var sayılarak probleme haritalama mantığı ile yaklaşılmıştır. Bu yaklaşım kapsamında litaratürden farklı olarak, şeritlerin hareketli aracın sabit olma kabulu yerine şeritlerin dünya düzleminde sabit fakat aracın hareketli olduğu kabul edilmiştir. Ayrıca ortaya çıkarılan sistem başka algılayıcılar ile kolayca etkileşim halinde modifiye edilebilecek şekilde tasarlanmış ve IMU ile birlikte çalışması incelenmiştir. Sunulan sistem yapay görü modülü ve şerit takip sistemi olarak iki parcaya bölünmüştür. Yapay görü sisteminde takip algoritmasından elde edilen şeritlerin tahmini konumlarının olduğu bölgede kameradan alınan görüntü kırpılarak filtereleme işlemi için hazırlanır. Ardından perspektif problemini aşmak için görüntü beş parçaya ayırıp her parca icin önceden belirlenmiş boyuttaki ‘steerable’ filtreler sayesinde şeritleri ait yerlerde 1 ait olmayan yerlerde 0 değerlerine sahip görüntü Canny köşe bulma algoritmasına beslenir. Görüntüdeki her bölümde Hough transformu uygulanarak şeritlere ait çizgiler bulunduktan her parça için bulunan çizgiler en az kareler yöntemine beslenerek şeritlere ait birinci derecen polinom modelinin katsayıları bulunmuştur. Takip algoritmasında genişletilmiş Kalman filtresi kullanılmıştır ve iki bölümden oluşmaktadır, ölçüm modeli ve sistem modeli. Takip algoritması aracın ve şeritlerin sadece yatay eksendeki pozisyonlarının takip etmek üzere tasarlanmıştır. İşlem gücünü sadece bir noktanın yatay eksende takibine indirgemek için her şeriti temsil edecek beş kontrol noktası kullanılmıştır. Modelde araç ile kameranın koordinat düzlemi eşlenik kabul edilip dünya koordinat düzlemi ile arasında sabit bir rotasyon olduğu kabul edilmiştir. Modelde kullanılan durum vektöründe aracın yatay pozisyonu ve yatay hızının yanısıra her kontrol noktasının yatay pozisyonu da eklenmiştir. Araç sabit hız modeli kontol noktaları için sabit pozisyon modeli baz alınarak modellenmiştir. Ölçüm modelinde ise görüntü düzlemindeki kontrol noktalarının dünya koordinat düzlemine iz düşümü ölçüm modeli olarak alınmıştır. Bu işlem iki aşamalıdır, önce görüntü düzleminden kamera koordinat düzlemine iz düşümü alınmasının ardından kamera koordinat düzleminden dünya koordinat düzlemine iz düşümü alınır. Analitik olarak görüntü ile kamera koordinat düzlemi arasındaki iz düşümünü tanımlamak için iğne deliği kamera modeli kullanılmıştır. Kamera koordinat düzlemi ile dünya düzlemi arasında ise, Euler açıları ile elde edilen rotasyon matrisi ve öteleme vektörü kullanılmıştır. Önerilen sisteme IMU verisini ekleyebilme amacı ile önceki modele iki yeni durum eklenmiştir. Bu iki yeni durum yalpa açısı ve yalpanın açısal hızı olarak belirlenmiştir. IMU’nun ilk aşama olarak sadece ciroskop verisi ölçüm modeline eklenmiştir. Önerilen algoritma önceden bir test aracı ile toplanılmış senkronize IMU ve kamera verisi üzerinde bilgisayar üzerinde test edilmiştir. Veri toplama aracındaki sistemdeki senkronizasyon MATLAB üzerinden IMU’nun yapısında var olan ara bellek kullanılarak başarılmıştır. IMU 90Hz kamera is 9Hz frekansında senkronize bir şekilde ölçüm almıştır. Algoritma toplanan MATLAB aracılığı ile önceden toplanan veri üzerinde farklı senaryolar için test edilmiştir. Sonuclar kısmında öncelikle görüntü düzlemindeki kontrol noktalarının takip algoritması kestrimleri ve yapay görü modülünden alınan ölçümleri sunulmuştur. Ayrıca haritalama algoritmalarında sık kullanılan bir test olan ‘loop closure’ testine benzer bir test uygulanmıştır. Bu test bir haritalama algoritmasının bir ortamda dolaştıktan sonra tekrar aynı yere getirerek uygulanır. Bu duruma benzer olarak önceden toplanan veri üzerinde aracın yatay olarak başlangıç noktasına geri geldiği bir video sekansı üzerinde algoritma test edilip sonuçlar verilmiştir. Sonuçlar algoritmanın aracın aynı noktaya geri geldiğini kabul edilebilir bir hata ile tahmin ettiğini göstermiştir. Önerilen algoritmanın ileriki çalışmaları bir kaç farklı açıdan ele alınabilir. Yapay görü modülünde kullanılan şerit modeli ve model katsayıları tahmin eden algoritmalar için litaratürdeki farklı yöntemler uygulanabilir. Ayrıca şerit takip sistemi için ise, daha fazla algılayıcıdan elde edilen veri bir arada kullanılacak şekilde sistem geliştirilebilir veya genişletilmiş Kalman filtresi yerine parçacık filtresi uygulanabilir.

Reports by World Health Organization claim that a large portion of the traffic accidents caused by human errors. In order to avoid these accidents advanced driver assistance systems (ADAS) such as lane departure warning systems are widely researched in the recent decades. Lane departure warning systems utilize computer vision algorithms in order to find and track lanes. Different algorithms for edge detection, outlier removal, road models and model fitting methods are used with various combinations of tracking algorithms such as Kalman filter or particle filter. However, most common approach in the literature is to track the vehicle inside a lane and assume that vehicle is stationary and lanes are moving which is practically not true. In this thesis, a lane tracking system approaching the problem as a mapping problem meaning that the vehicle is moving in a previously unknown environment is developed. The proposed algorithm can be divided into two main sections, the image processing module and the tracking algorithm. In the image, processing module an adaptive region of interest (ROI) creation by using the estimations provided by the tracking algorithm is introduced. In addition, a simple solution for the perspective problem while using the steerable filters are presented. The orientation of the steerable filter is vital for edge detection and in order to obtain results that are more robust, the orientation of the steerable filter is developed to be adaptive according to the estimates from the tracking algorithm. Outliers in the obtained image after the filtering process Hough transform is applied to each segment to remove the outliers. Than a first order polynomial is fit the do features on the image in least squares sense. Extended Kalman Filter (EKF) is used in order to track the found lanes via the image processing module. Tracking is applied approaching the problem as a mapping and localization problem. However, the localization problem is simplified into localizing the vehicle laterally on the road according to the initial position. Tracking algorithm can be divided into two main parts, the motion model and the measurement model. While developing the motion model only the lateral position of the vehicle is considered. The vehicle is modelled with regard to the constant velocity model in the literature. Each tracked lane is represented with five control points at pre-determined distances ahead of the vehicle in the motion model. Motion of the control points are modelled as if they have a constant position according to the world plane. In the measurement model, lateral position of the each control point on the world plane is regarded as measurements. However, since the control points are measured on image plane the measurement model is developed as the projection of the control points from the image plane to world plane. In order to achieve this, pinhole camera model is used to project the control points from the image plane to camera frame. Next, with an assumption of constant yaw, pitch and roll between the camera frame and the world plane a rotation matrix and translation vector is defined to project the control points from the camera frame to world plane. Additionally an altered version of the proposed tracking algorithm is presented. This altered version utilizes fusion of IMU and computer vision. The previously proposed model is altered with two new states, which are yaw and the yaw rate of the camera frame. Adding these two states discards the assumption of constant yaw between the world plane and the camera frame. Two new states are also modelled with regard to constant velocity model. In the measurement model, measurements of yaw rate provided by the IMU is added to the model. In order to make experiments with the algorithms, synchronized data of camera and IMU is collected with a test vehicle. The collected data is synchronized and stored in MATLAB. Experiments are made offline on MATLAB with the previously collected data. Tracking results of the control points are given along with the measurements on the image plane during various scenarios such as when no measurement is received or during curvature roads. Localization results of the vehicle is tested with a test similar to the loop closure test, which is a commonly used test in SLAM algorithms. The results of the loop closure tests claim that the tracking algorithm can successfully track the lateral position of the vehicle with an acceptable error. In this thesis, the main objective is to propose an alternative lane tracking system capable laterally localizing the vehicle and map the lanes according to the initial position. Additionally this proposed system provides a very versatile basis for sensor fusion with various sensors such as GPS or LiDAR.