Uzaktan algılama verileri kullanarak derin öğrenmeye dayalı arazi kullanımı ve arazi örtüsü haritalama modeli geliştirme

Abstract

Doğal kaynakların gün geçtikçe tükenmesi, nüfus artışı, kentsel göç ve artan kuraklık koşulları çevresel izleme programlarının gerekli olmasının ve düzenli olarak üretilip güncellenmesinin nedenlerinden bazılarıdır. Tüm dünyada olduğu gibi, ülkemizde de pek çok alanda kullanılan arazi kullanımı ve arazi örtüsü (AKAÖ) haritaları düzenli olarak üretilip güncellenmektedir. CORINE sınıflandırmasına dâhil olan ülkemiz hem bu alanda hem de birçok farklı endüstriyel, akademik ve kamu alanları için uzaktan algılama görüntüleri kullanarak tematik harita üretimini gerçekleştirmektedir. Ancak geniş alanlarda uygulandığında bu üretimin oldukça zaman alması hem üretimde hem de güncellemede karşılaşılan zorlukların başındadır. Hala birçok tematik harita, görsel yorumlama teknikleri ve yarı-otomatik görüntü işleme analizleriyle üretilmektedir. Operatör gereksinimi, uzun süren işlemler (ekran üzerinde sayısallaştırma) gibi pek çok nedenden dolayı özellikle çevresel izleme alanındaki kartografik üretimin otomatikleştirilmesi önem arz etmektedir. Otomatikleştirme işlemi birçok diğer endüstride olduğu gibi bu alanda da yapay zekânın kullanımı ile mümkün hale gelmektedir. Ek olarak, yapay zekânın geo-konumsal yer gözlemi ve bölgesel arazi izleme misyonlarında kullanımı zorlu bir konudur. Ancak bilgisayar sistemlerinin gelişmesi ile işlem kolaylığı gün geçtikçe artmaktadır. Aynı zamanda yapay zekânın kullanımının birçok avantajı mevcuttur. Operatör gereksinimini azaltan, farklı bölgelerde uygulanabilen, adapte edilebilen modellere ve belli aralıklarla otomatik şekilde güncellemeye olan ihtiyaç ve eğilim her geçen gün artmaktadır. Birçok alanda olduğu gibi AKAÖ haritalamada, bilgisayarlı görünün kullanımının hızla arttığı ve son yıllarda yeni birçok tekniğin geliştirildiği bilinmektedir. Bilgisayarlı görü teknikleriyle, son dönem uzaktan algılama yöntemleri birleştirilerek oluşturulan yapay zekâ uygulamaları birçok yönden verim sağlamaktadır. Geniş alanların sınıflandırılmasında uydu görüntülerinin kullanımı, özellikle açık veri paylaşan uyduların da gelişen özellikleri sayesinde çok daha ekonomik ve pratik olabilmektedir. Bu çalışma kapsamında, derin öğrenme teknikleri kullanılarak farklı detay seviyelerindeki sınıflar için AKAÖ haritaları üretilmiştir. Çalışmalarda veri olarak farklı mekânsal çözünürlüklerde uydu görüntülerinden oluşan üç farklı veri seti kullanılmıştır. Çalışma alanı olarak seçilen bölgelerde görüntülerin semantik segmentasyon (anlamsal segmentasyon) yöntemi ile sınıflandırılmasında evrişimsel sinir ağları (ESA) mimarileri kullanılmıştır. Sınıflandırma doğruluğunu yükseltmek ve performans ölçütlerini iyileştirmek için, kullanılan görüntülerin bantlarının yanı sıra ESA mimarilerinde farklı spektral indisler de kullanılarak farklı boyutlarda veri setleri ile sınıflandırma için kullanılan modeller ile eğitilmiştir. Elde edilen sınıflandırma sonuçları üzerinde iyileştirme yapılması amacıyla nesne-tabanlı görüntü analizi (NTGA) aşamalarından çoklu-çözünürlüklü bölütleme (ÇÇB) algoritmasından yararlanılmış ve konumsal filtreleme yapılmıştır. İlk uygulamadaki Sentinel-2 veri seti, Türkiye'ye ait mekânsal olarak orta çözünürlüklü görüntülerden oluşmaktadır. Bu uygulamada Sentinel-2A görüntüleri kullanılarak oluşturulan farklı bant kombinasyonu (beş ve yedi bant) ve farklı görüntü parçacığı boyutları (32 × 32, 64 × 64 ve 128 × 128 piksel) kullanılmıştır. Üç farklı şehre ait görüntülerle oluşturulan veri setiyle AKAÖ haritalama için güncel ESA tabanlı modellerin ve önerilen yaklaşım olan ESA-ÇÇB modelinin aynı bölgedeki sonuçları değerlendirilmiştir. Sentinel veri setinde, en yüksek genel doğruluk, önerilen yaklaşımla İstanbul test alanında % 97.31 ve Kocaeli test alanında % 98.44 olarak elde edilmiştir. Doğruluklar, geniş alanlarda arazi örtüsü haritası üretimi için ESA-ÇÇB modelinin verimliliğini ortaya çıkarmıştır. McNemar testi kullanılarak uygulamada kullanılan modellerin bilimsel olarak anlamlılığı ölçülmüştür. Benzer yöntemler ikinci uygulamada çok yüksek çözünürlüklü görüntülere sahip Zurich Summer veri setinde uygulanmıştır. Sonuçlar, temel ESA modellerinin sonuçları ile nicel olarak karşılaştırılmıştır. Bu uygulamada, Zurich Summer veri seti ile önerilen yaklaşımın genel doğruluğu % 92.03 ve %90.67 olarak elde edilmiştir. Elde edilen sonuçlar ek olarak literatürdeki diğer modellerin sonuçlarıyla karşılaştırılmıştır. Üçüncü uygulamada, farklı mekânsal çözünürlükte Wuhan Üniversitesi bina çıkarımı veri setinde (WHUBED) diğer iki uygulamadan farklı derin öğrenme ağları kullanılmıştır. Önerilen yaklaşımın kullanımı, tek başına ESA kullanıldığındaki sonuçlarla karşılaştırıldığında performans değerlerinde iyileştirme yapmıştır. WHUBED veri setinde test görüntülerinde % 97.57 ile % 81.06 genel doğruluk değerleri ve % 86.46 ile % 86.49 F1 skoru elde edilmiştir. Bu uygulamada da temel ESA modellerinin sonuçlarıyla, tezde önerilen yaklaşımın sonuçları karşılaştırılmış ve sonuçlar çizelgeler ve görseller şeklinde sunulmuştur. Bu uygulamada, genel doğruluk ve F1 skor ölçütlerinde önerilen yaklaşım daha yüksek performans göstermiştir.

Natural and artificial are in land cover and land use (LULC) classes change over time due to human actions or natural causes. Some of the reasons that cause the conversion of the natural regions to artificial areas are the expansion in the urbanization area, changes in wetlands and agricultural lands, erosion, natural or man-made fires in green areas and losses due to tree cutting. Natural causes that cause land cover/use change include drought and flood events, landslides and terrestrial movements. Monitoring environmental resources and analyzing changes are very important for environmental planning and management. Image processing and classification are preferred and widely used techniques for Earth observation applications. Many institutions and organizations produce LULC and change maps periodically. There are many land cover classification systems developed to date. These systems produce thematic maps at national, regional and global scales, with different levels of detail and classes. These maps are widely used for many applications. LULC maps are developed and updated regularly in many sections of our country and worldwide. As well as many other industrial, academic, and public sectors, our country, which has a member of the Coordination of Information on the Environment (CORINE), generates thematic maps using satellite images. However, this production takes a long time when used in wide areas, which is one of the challenges in both production and updating. Visual interpretation techniques and semi-automatic image processing analysis are still used widely for generating thematic maps. Automate cartographic production is a need especially in environmental monitoring, due to many reasons such as operator requirement and long process time (on-screen digitization). Automation in thematic map production becomes possible with artificial intelligence in this field, as in many other industries. On the other hand, using artificial intelligence in geospatial Earth observation and regional terrain monitoring missions is challenging. However, the problems encountered are overcome with computer technologies and artificial intelligence finds a wide area of usage. Additionally, there are many advantages of using artificial intelligence. The need for updated and applied models in different regions that reduce operator labor increases day by day. In many areas, it is known that the use of LULC in computer vision has grown rapidly and various techniques have been developed. Remotely sensed data is used in the classification process in LULC map production for many areas, such as monitoring forest borders, agricultural yield estimation, changing boundaries, land use classes with urbanization, natural disasters, etc. The usage of remote sensing technologies has many advantages, such as being economical, saving time and being more suitable for most conditions (weather, rapid production, updating, etc.). Furthermore, satellite images in the classification of large areas can be much more economical and practical, mainly due to the developing features of open data-sharing satellites. Within the scope of the thesis, LULC maps were produced using deep learning techniques at different levels of detail. Additionally, improving the classification with an object-based approach on the estimation results produced using the deep learning (DL) model is also included in the proposed approach. In the studies, three different datasets consisting of satellite images with different spatial resolutions (images of commercial and open data sharing satellites) were used as data. Convolutional neural network (CNN) architectures were used in semantic segmentation of images in the regions selected as the study area. At the same time, several algortihms have been applied to enhance the results in experiments. Object-based image analysis (OBIA) stages and spatial filtering were used to improve ESA models' classification results. In the Sentinel-2 dataset, CNN architectures were rearranged and different spectral indices were produced in addition to the bands of the images used. Thus, data sets of various sizes were generated and the models used for classification were trained. Three different data sets were used in the experiments. The proposed approach in the thesis was tested on three different data sets. In the first experiment, In the first experiment, a data set generated with Sentinel-2 images of Istanbul, Kocaeli and Muğla provinces of Turkey was used. The results of the CNN-MRS model, the proposed approach for LULC mapping, and the state-of-the-art CNN-based models, were compared with the data set generated with the images of three different cities. In the second experiment, a similar methodology was applied to the Zurich Summer dataset and the results were compared with the results of other models in the literature. In the third experiment, different deep learning networks from the previous two applications were used in the Wuhan Building Extraction Dataset (WHUBED) dataset. Likewise, the results of the other CNN models and the proposed approach in the thesis are compared. The proposed approach showed higher performance as overall accuracy and F1 score metrics in this application. The proposed CNN-MRS approach consists of two main steps. First, the CNN-based land cover classification follows the development of classification with spatial filter and multi-resolution segmentation (MRS). In applications, the aim is to improve deep learning models' predictions and generate thematic maps with higher accuracy in selected metrics. Different band numbers (5-band and 7-band datasets) and multiple image patch sizes (32 × 32, 64 × 64 and 128 × 128 pixels) of Sentinel-2A images were used in the first experiment. Algorithms were evaluated with performance metrics. The Sentinel dataset obtained the highest overall accuracy with the proposed approach as 97.31% in the Istanbul test area and 98.44% in the Kocaeli test area. Accuracies revealed the efficiency of the CNN-MRS model for land cover map production over large areas. Mc-Nemar test statistics were calculated for five- and seven-band Sentinel datasets for each image patch size (32, 64, and 128) for state-of-the-art CNNs and proposed approach models. According to Mc Nemar test, dataset H1 hypothesis is true for all methods of Sentinel-2 dataset; that is, it is significant to compare all methods in the Sentinel dataset experiments. In the second experiment, the overall accuracy of the proposed approach with the Zurich Summer data set were 92.03% and 90.67%. The results were quantitatively compared with the results of the state-of-the-art CNN model and related studies. Segmentation quality metrics for both datasets are shown in the tables. The suitability of the selected segmentation parameters was checked with the segmentation quality metric. In the third experiment, the proposed approach with the WHUBED dataset has improved performance values than state-of-the-art CNNs results. The proposed approach obtained 81.06 % overall accuracy and 86.49% F1 score for test area I and 97.57% overall accuracy and 86.46% F1 score for test area II in the WHUBED dataset. The proposed approach has been shown to enhance the predictions of deep learning methods in LULC applications at different semantic levels, thanks to the applications in the thesis. The usability of the proposed model has been proven in models trained in a large area and not a very large area. Also, the proposed approach is feasible for 3-band datasets and more than 3-band datasets in the applications. In the same way, the methods have been applied in the dataset with balanced or imbalanced class distribution, and its usability has been demonstrated.