Makine öğrenmesi yöntemleri kullanılarak üç boyutlu nokta bulutlarının sınıflandırılması

Abstract

Farklı mekansal veri elde etme yöntemleri ile elde edilen nokta bulutları, veri elde etme hızı, geniş kapsama alanı, yüksek doğrulukta üç boyutlu geometrik ve semantik bilgi sağlaması nedeniyle çok disiplinli çalışmalar olan tesis yönetimi, yapı bilgi modeli ve dijital dönüşüm konularında sıklıkla tercih edilmekte ve kullanılmaktadır. Görsel olarak başarılı ve hızlı analiz kabiliyeti sunan nokta bulutları, bu tür uygulamalar için gerekli olan yapı elemanlarının geometrik yapısını elde etme aşamasında, uzmanlık, yoğun iş gücü ve yüksek donanım kapasitesi gerektirmektedir. Nesne çıkarımının makina öğrenmesi ve bilgisayarla görü temelli gerçekleştirilmesi, sürecin daha hızlı ve otomatize bir şekilde yapılmasına olanak sağlamaktadır. Bu amaç doğrultusunda, güncel çalışmalarda farklı makina öğrenme modelleri ile iç mekanlara ait nokta bulutu verilerine sınıflandırma işlemi uygulanarak bilgi çıkarımı yapılmakta ve süreçlerin otomatize hale getirilerek zaman, iş gücü, maliyet bakımından kazanç sağlanmaktadır. Bu tez çalışması kapsamında; yapay sinir ağları, gradyan artırma ve karar ağacı tabanlı makine öğrenme modelleri kullanılarak, yapı elemanları olan duvar, kolon, kiriş, kapı, pencere ve yapı içerisinde bulunan diğer nesnelerin nokta bulutundan tespit edilerek dijital dönüşüm süreci ve yapı bilgi modeli üretimi için yöntem ve veri seti altyapısının oluşturulması amaçlanmıştır. Bu kapsamda çalışma bölgesi olarak İstanbul Teknik Üniversitesi, İnşaat Fakültesi'nde bulunan iki koridor seçilerek yersel lazer tarama yöntemiyle nokta bulutu verileri elde edilmiştir. Lazer tarama işlemleri Leica C10 model yersel lazer tarayıcı ile fotoğraflı olarak gerçekleştirilmiş olup, 19 oturumda tamamlanmıştır. Ortalama oturum süresi 25 - 35 dakikadır. Her oturumda ortalama 15 milyon nokta ve 260 fotoğraf elde edilmiştir. Sonraki aşamada, nokta bulutu verilerine ön işleme adımları uygulanmıştır. Ön işleme aşamasında ilk olarak, Yinelemeli En Yakın Nokta algoritmasi kullanılarak nokta bulutları birleştirilmiştir. Ardından, farklı çevresel etkiler nedeniyle nokta bulutunda oluşan gürültüler İstatistiksel Aykırı Değer Çıkarma yöntemiyle filtrelenmiştir. Gürültü filtresi uygulandıktan sonra voksel tabanlı alt örnekleme uygulanarak veri yoğunluğu azaltılmıştır. Ön işleme aşamasından sonra nokta bulutu üzerinde üç boyutlu olarak etiketleme yapılarak model eğitiminde kullanılacak referans sınıf değerleri üretilmiştir. Bu aşamadan sonra model eğitiminde kullanılacak olan özellikler belirlenmiş ve model performansının artırılması amaçlanarak yeni özellikler üretilmiştir. İlgili özellikler noktalara ait geometrik ve geometrik olmayan bilgileri içermektedir. Geometrik özellikler; noktalara ait üç boyutlu koordinat bilgileri (X, Y, Z), yüzey normalleri ve özdeğerlere göre üretilen özdeğer tabanlı geometrik özelliklerdir. Geometrik olmayan özellikler ise, noktalara ait renk bilgisi (R, G, B) ve yoğunluk değerleridir. Özdeğer tabanlı geometrik özellikler noktaların yerel komşuluk ilişkisine göre hesaplanan özdeğerlere göre çıkarılmakta olup nesnelerin geometrisine ait önemli bilgiler (doğrusallık, küresellik, düzlemsellik vb.) içermektedir. Özdeğer hesaplanmasında kullanılan yerel komşuluk yarıçapının seçimi model performansı açısından önem arz etmektedir. Özdeğerlerden üretilen geometrik özelliklerin her biri farklı bir geometrik yapıyı temsil ettiği için her özellik için farklı yerel komşuluk yarıçapının belirlenmesi gerekmektedir. Bu amaç doğrultusunda, 2 cm – 150 cm aralığındaki 55 farklı yerel komşuluk yarıçapına göre özdeğer üretimi gerçekleştirilmiştir. İlgili özdeğerler kullanılarak dokuz adet geometrik elde edilmiştir. Sonraki aşamada, nokta bulutu eğitim ve test bölgelerine ayrılmıştır. Her iki bölgede de sınıf ve koridor bulunmakta olup eğitim veri setinin %80'i eğitim %20'si ise doğrulama için ayrılmıştır. Model eğitimi için gerekli veri setleri üretildikten sonra normalizasyon uygulanarak veri setleri ölçekten bağımsız hale getirilmiştir. Ayrıca sınıf değerlerini temsil eden noktaların sayısı eşit olmadığı için veri setinde dengeleme yapılarak eğitim veri setinde bulunan her sınıf değerinin nokta sayısı 300 000 olarak yeniden örneklenmiştir. Bu aşamalar gerçekleştirildikten seçilen modeller ile eğitimler gerçekleştirilmiştir. Model eğitimleri için TÜBİTAK ULAKBİM Yüksek Başarımlı ve Grid Hesaplama Merkezi'nde bulunan Barbun kümesi kullanılmış olup her eğitim için 12 çekirdek ve 1 düğüm kullanılmıştır. Eş zamanlı eğitim sayısı ise 14'tür. Çalışmada üç farklı analiz yapılmıştır. İlk iki analizde model sonuçları eğitim süresi ve performans açısından değerlendirilmiştir. Üçüncü analizde ise, en yüksek genel ortalama doğruluğa sahip olan model SHAP değerleriyle yorumlanarak özelliklerin sınıflandırmaya olan etkileri incelenmiştir. İlk analizde, uygun yerel komşuluk yarıçapı seçiminin model performansına etkisinin belirlenmesi amaçlanmıştır. Burada, öncelikle sabit yerel komşuluk yarıçapları (20 cm, 40 cm, 60 cm, 80 cm, 100 cm) ile üretilen özdeğer tabanlı geometrik özellikler ile diğer özellikler kullanılarak model eğitimleri gerçekleştirilmiştir. Ardından, ki-kare hipotez testi kullanılarak her özdeğer tabanlı geometrik özellik için uygun yerel komşuluk yarıçapı belirlenmiştir. İlgili yarıçaplara göre üretilen özdeğer tabanlı geometrik özellikler ile diğer özelliklerin kombinasyonu kullanılarak model eğitimleri gerçekleştirilmiştir. Elde edilen sonuçlara göre en yüksek genel ortalama doğruluk, ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin kombinasyonunun Rastgele Orman yöntemi ile eğitilmesi sonucunda elde edilmiştir. İlgili modelin genel ortalama doğruluğu %80.06 olup eğitim süresi 138 saniyedir. Modelin hata matrisi incelendiğinde; kiriş, kolon, kapı, diğer ve pencere sınıflarına ait noktaların bir kısmının duvar olarak tahmin edildiği, masa/sıra sınıfına ait noktaların ise zemin olarak tahmin edildiği, tavan, zemin, aydınlatma ve duvar sınıflarının ise diğer sınıflarla karışmadığı gözlenmiştir. İşlem süresi ve genel ortalama doğruluk dikkate alındığında ise, ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin LightGBM modeli ile eğitilmesi ile elde edilen sonuçlar ön plana çıkmaktadır. İlgili modelde genel ortalama doğruluk değeri %78.40 olup eğitim süresi 53 saniyedir. Modelin hata matrisine göre; kiriş, kolon, kapı, diğer ve pencere sınıflarına ait noktaların bir kısmının duvar olarak tahmin edildiği, masa/sıra sınıfına ait noktaların ise zemin sınıfı olarak tahmin edildiği, tavan, zemin, aydınlatma ve duvar sınıflarının ise diğer sınıflarla karışmadığı gözlenmiştir. İkinci analizde, farklı özellik kombinasyonları kullanılarak özelliklerin model doğruluğuna olan etkileri incelenmiştir. Bu kapsamda dört farklı özellik kombinasyonu oluşturulmuştur. İlk kombinasyonda tüm özellikler kullanılarak model eğitimi gerçekleştirilmiştir. İkinci kombinasyonda ki-kare özellik seçimi uygulanarak modelde bulunan 19 özellik içerisinden en önemli 10 özellik seçilmiştir. Üçüncü kombinasyonda, renk ve yoğunluk bilgileri dahil edilmeden model eğitimi gerçekleştirilmiştir. Dördüncü kombinasyonda ise, özdeğerler kullanılarak üretilen geometrik özellikler kullanılmadan model eğitimleri gerçekleştirilmiştir. Tüm özellikler kullanılarak eğitilen model diğer özellik kombinasyonları için karşılaştırma modeli olarak kullanılmıştır. Ki-kare özellik seçimi ile belirlenen 10 özelliğin kullanım durumunda, MLP modelinin genel ortalama doğruluğu %8.68, XGBoost modelinin %4.41, CatBoost modelinin %4.17 ve RF modelinin %2.03 artış gösterirken LightGBM modelinin genel ortalama doğruluğu %3.69 azalış göstermiştir. Renk ve yoğunluk değerlerinin kullanılmadığı durumda genel ortalama doğruluk değerinde, MLP modelinde %2.52, XGBoost modelinde %2.36, CatBoost modelinde %1.38, LightGBM modelinde %2.51 ve RF modelinde %1.07 azalış meydana gelmiştir. Özdeğer tabanlı geometrik özelliklerin kullanılmadığı durumda genel ortalama doğruluk değerinde, MLP modelinde %25.43, XGBoost modelinde %10.97, CatBoost modelinde %8.32, LightGBM modelinde %8.71 ve RF modelinde %9.88 azalış olduğu gözlenmiştir. Dört farklı özellik kombinasyonu içerisinde en yüksek genel ortalama doğruluk değeri ki-kare hipotez testi ile belirlenen yerel komşuluk yarıçapları kullanılarak üretilen geometrik özellikler ile diğer özelliklerin CatBoost modeli ile eğitilmesi ile sonucunda elde edilmiştir. İlgili modelin genel ortalama doğruluk değeri %82.87, eğitim süresi ise 707 saniyedir. Hata matrisi incelendiğinde; kiriş, kolon ve diğer sınıfının bir bölümünün duvar olarak tahmin edildiği, masa/sıra ve pencere sınıfının bir bölümünün ise diğer sınıfı ile karıştığı gözlenmiştir. Üçüncü analizde, CatBoost modeli SHAP değerleriyle yorumlanmıştır. Yapılan incelemeye göre yükseklik (Z) ve dikeylik özelliğinin model üzerindeki ortalama etkisinin oldukça yüksek olduğu, mavi bant ve doğrusallık özelliğin etkisinin oldukça düşük olduğu gözlenmiştir.