Investigating the performance of super-resolved remote sensing images on coastline segmentation with deep learning-based methods

Abstract

Satellite imagery plays a crucial role in a wide range of applications such as cartography, agriculture, urban planning, environmental monitoring, and disaster management. However, one of the major limitations in Remote Sensing (RS) analysis is the insufficient spatial resolution due to technical constraints of imaging sensors. This limitation affects the accuracy and reliability of tasks such as object detection, classification, and change monitoring. Another significant challenge arises in coastline segmentation, which requires precise boundary detection between land and sea—an inherently dynamic and complex interface that is sensitive to natural processes and atmospheric conditions. The primary objective of this study is to enhance the spatial resolution of Landsat-8 and Sentinel-2 satellite images using Super-Resolution Generative Adversarial Network (SRGAN) and to perform coastal line segmentation on the enhanced images. SRGAN utilizes a generator-discriminator architecture to generate High-Resolution (HR) images from Low-Resolution (LR) images. LR images were generated by downsampling remote sensing images with scaling factors of 2 and 4, matched appropriately, and enhanced by data augmentation techniques including rotation and cropping for training, . Mean Squared Error (MSE), Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), Cosine Similarity (CS), Correlation Coefficient (CC), and the Relative Dimensionless Global Error in Synthesis (ERGAS) evaluation metrics were used to evaluate image quality. The results indicate that SRGAN demonstrates remarkable performance, especially at a scale factor of 2. Histogram matching was implemented after SR processing to enhance contrast and improve visibility of fine details. The integration of SRGAN and histogram matching process are significantly improved image clarity and interpretability. Thereby supporting more accurate analysis in coastal monitoring applications. In the subsequent phase, three deep learning models with different architectures, U-Net, LinkNet, and DeepLabV3+ were implemented to execute coastal segmentation. The symmetric encoder-decoder design of U-Net enhances the segmentation of thin and complex coastal boundaries by preserving spatial features through skip connections. LinkNet achieves precise and efficient segmentation by minimizing feature loss through direct encoder-decoder connections. In order to refine boundary detection and capture multi-scale contextual information, DeepLabV3+ uses Atrous Spatial Pyramid Pooling (ASPP). Model performance was evaluated using Intersection over Union (IoU), Dice Coefficient, Dice Loss, Accuracy, Precision, Recall, Specificity, and F1 Score. Experiments were conducted on LR, SR, and Gokturk-1 (GT-1) images. Results show that segmentation accuracy improves with super-resolution. DeepLabV3+ achieved the highest performance on LR images, while LinkNet outperformed others on Super-Resolved (SR) images by correcting misclassifications. For GT-1 images, U-Net and LinkNet yielded similar high accuracy, surpassing DeepLabV3+. Coastline length estimation further validated model accuracy, using a manually digitized reference length of 3412.00 meters. On LR images, LinkNet produced the lowest relative error, at 7.29%, which reduced to 6.33% on SR images. On GT-1 images, LinkNet achieved a relative error of just 0.68%, demonstrating its effectiveness in precise coastline segmentation. Overall, the study confirms that both segmentation model choice and image resolution critically affect the accuracy of coastal line detection. The combination of SRGAN-based super-resolution and deep learning segmentation, particularly with the LinkNet model, enables highly accurate and reliable coastline segmentation from satellite imagery.

Günümüzde uydu görüntülerinin kullanımı, haritacılık, tarım arazilerinin incelenmesi, şehir planlamasının yapılması, coğrafi bilgi sistemleri, çevresel izleme, doğal afetlerin incelenmesi, jeolojik çalışmalar ve afet yönetimi gibi geniş uygulama alanlarına sahiptir. Ancak, uydu görüntülerinin analizinde karşılaşılan en temel kısıtlardan biri, kullanılan sensör ve görüntüleme sistemlerinin teknik sınırlamaları nedeniyle istenilen çözünürlük seviyesine yeterince ulaşılamamasıdır. Bu durum, sınıflandırma, nesne tanıma ve değişim tespiti gibi uygulamalarda analiz doğruluğunu ve mekansal detay seviyesini önemli ölçüde sınırlamaktadır. Bu nedenle, çözünürlük problemlerinin üstesinden gelebilmek adına, hem uydu sistemleri hem de derin öğrenme tabanlı süper çözünürlük yaklaşımları gibi yeni teknolojilerin geliştirilmesi büyük önem arz etmektedir. Bu çalışmada ele alınan bir diğer problem kıyı şeridi segmentasyonunda yaşanan zorluklardır. Kıyı çizgisi, deniz ve kara arasındaki sınırı tanımlayan dinamik bir yapıdır. Bu sınır, doğal süreçler (erozyon, sedimentasyon) ve iklim değişikliğine bağlı etkiler nedeniyle sürekli değişim göstermektedir. Bu değişimlerin izlenmesi ve modellenmesi, kıyı bölgelerinde meydana gelen çevresel etkilerin anlaşılması ve yönetilmesi açısından kritik öneme sahiptir. Uydu görüntülerinden elde edilen veriler, geniş alanları yüksek zaman çözünürlüğü ile gözlemleme imkânı sunarak kıyı çizgisi analizlerinde güçlü bir araç olarak öne çıkmaktadır. Ancak, uydu görüntülerinden kıyı çizgisinin bölütlenmesi için geleneksel yöntemlerin kullanılması birtakım önemli sorunlar oluşturmaktadır. Bu yöntemler genellikle görüntülerdeki kontrast farklılıkları, gölge ve bulut gibi atmosferik etkiler nedeniyle sınırları doğru biçimde tespit etmekte zorlanmaktadır. Özellikle sahil kıyı bölgelerinde, kara ve deniz arasındaki sınırların net olmaması, geleneksel yöntemlerin sınıflandırma performansını düşürmektedir. Ayrıca, karmaşık morfolojik yapılara sahip alanlarda bu yöntemler, yapıların özelliklerini yeterince yakalayamamakta ve sonuç olarak doğru ve güvenilir segmentasyon sonuçları sağlayamamaktadır. Bu durum, kıyı çizgisinin hassas ve doğru bir şekilde belirlenmesini güçleştirmekte ve uygulamalı çalışmalarda belirsizliklere neden olmaktadır. Dolayısıyla, uydu görüntülerinden kıyı çizgisi segmentasyonunun doğruluğunu ve etkinliğini artırmak amacıyla yenilikçi ve güçlü segmentasyon yöntemlerine ihtiyaç duyulmaktadır. Bu çalışmanın temel amacı, Landsat-8 ve Sentinel-2 uydu görüntülerinin SR ile mekansal çözünürlüklerinin artırılması ve ardından geliştirilmiş görüntüler üzerinde kıyı çizgisi (kara-deniz ayrımı) segmentasyonunun gerçekleştirilmesidir. SR ve görüntü segmentasyon yöntemlerinin entegrasyonu, mevcut uydu görüntüsü analizlerinde karşılaşılan sınırlamaların aşılmasını hedeflemekte olup, daha yüksek doğruluk sağlayan yenilikçi bir yaklaşım sunmaktadır. Çalışmanın ilk aşamasında Sentinel-2 ve Landsat-8 uydu görüntülerinin çözünürlüğünün artırılması için SRGAN kullanılmıştır. SRGAN, üretici (ing. generator) ve ayırt edici (ing. discriminator) olmak üzere iki temel ağ yapısından oluşmaktadır. Üretici ağ, düşük çözünürlüklü görüntüleri gerçekçi yüksek çözünürlüklü görüntülere dönüştürmek üzere eğitilirken, ayırt edici ağ bu üretimi değerlendirerek gerçek ve sentetik görüntüleri ayırt etmeyi öğrenir. Böylece, eğitim sürecinde düşük çözünürlüklü görüntülerden yüksek detaylı ve gerçekçi görüntülerin elde edilmesi mümkün hale gelir. Bu çalışma kapsamında öncelikle Landsat-8 ve Sentinel-2 uydu görüntülerinden oluşturulan veri setleri, 2 ve 4 ölçek faktörlerinde yeniden örneklenerek, LR görüntüler elde edilmiştir. Bu LR görüntüler, orijinal HR görüntülerle eşleştirilerek SRGAN modelinin eğitimi için veri çifti olarak kullanılmıştır. Eğitim sırasında veri artırma yöntemleri uygulanmıştır. Bu yöntemler, veri çeşitliliğini artırarak modelin genelleme yeteneğini ve performansını yükseltmiştir. SRGAN modeli ile elde edilen sonuçlar, görüntü kalitesini değerlendirmek üzere literatürde yaygın olarak kullanılan tepe sinyal-gürültü oranı (ing. Peak Signal-to-Noise Ratio, PSNR), yapısal benzerlik indeksi (ing. Structural Similarity Index, SSIM), boyutsuz göreli genel hata (ing. Relative Dimensionless Global Error in Synthesis, ERGAS) ve korelasyon katsayısı (ing. Correlation Coefficient, CC) gibi çeşitli metriklerle değerlendirilmiştir. Bu metrikler kullanılarak yapılan değerlendirmelerde, hem 2 hem de 4 ölçek faktörlerinde SRGAN modelinin LR görüntülerden HR görüntüler üretme konusunda başarı gösterdiği tespit edilmiştir. Ölçek faktörü arttıkça, düşük çözünürlüklü görüntülerden yüksek çözünürlüklü görüntüler elde etmek daha zor hale gelir. Bu durum elde edilen nicel sonuçlarada yansımaktadır. Ölçek faktörü 2 için elde edilen SR sonuçları ölçek faktörü 4 için elde edilen sonuçlara göre daha iyidir. Görüntü kalitesinin artırılmasında önemli adımlardan biri de histogram eşitleme işlemidir. Histogram eşitleme, görüntülerdeki parlaklık seviyelerini eşit dağılım gösterecek şekilde ayarlayan bir tekniktir. Bu işlem sayesinde görüntü kontrastı iyileştirilir. Özellikle uydu görüntülerinde, düşük kontrastlı veya bulanık alanlarda detayları ortaya çıkarır. SR görüntüleri ile RS görüntülerinin histogramlarının eşitlenmesi SR görüntülerinin yorumlanabilirliğini artırır. Sonuç olarak, SRGAN ile birlikte histogram eşitleme tekniğinin kullanılması, Landsat-8 ve Sentinel-2 uydu görüntülerinde çözünürlük ve kontrastın etkili bir şekilde artırılmasını sağlamıştır. İkinci aşamada ise kıyı çizgisinin segmentasyonu görevini gerçekleştirmek amacıyla, derin öğrenme temelli ve farklı mimari yaklaşımları olan U-Net, LinkNet ve DeepLabV3+ derin öğrenme modelleri kullanılmıştır. Modelin eğitim performansını artırmak ve genelleme yeteneğini güçlendirmek amacıyla görüntü verileri üzerinde veri artırma (ing. augmentation) teknikleri uygulanmıştır. U-Net'in simetrik kodlayıcı-kod çözücü mimarisi, özellik haritalarının korunmasını ve yeniden yapılandırılmasını sağlar. Atlamalı bağlantılar sayesinde detaylı uzamsal bilginin korunmasına olanak tanıyarak kıyı şeridi gibi ince ve karmaşık yapıların segmentasyon performansını önemli ölçüde artırır. LinkNet, kodlayıcı ve kod çözücü blokları arasında doğrudan bağlantılar kurarak bilgi kaybını azaltır ve özelliklerin etkin biçimde korunmasını sağlar. Bu sayede kıyı şeridi segmentasyonunda hem hızlı hem de doğru sonuçlar elde edilir. DeeplabV3+, özellikle geniş bağlam bilgilerini yakalama yeteneğine sahip olan Atrous Spatial Pyramid Pooling (ASPP) modülünü içermektedir. Bu modül, farklı ölçeklerdeki özellikleri bir araya getirerek ayrıntılı sınırların net bir şekilde belirlenmesini sağlar. Segmentasyon modelleri; kesişim-birleşim oranı (ing. Intersection over Union, IoU), Dice katsayısı, doğruluk (ing. accuracy), hassasiyet (ing. precision), duyarlılık (ing. recall) ve F1 skoru gibi metriklerle değerlendirilmiş ve sonuçlar kıyaslanmıştır. Bu çalışmada, kıyı çizgisi tespiti amacıyla farklı çözünürlük seviyelerinde LR, SR ve GT-1 uydu görüntüleri üzerinde U-Net, LinkNet ve DeepLabV3+ gibi derin öğrenme tabanlı segmentasyon modellerinin performansları karşılaştırılmıştır. Bulgular, çözünürlüğün artırılmasıyla birlikte tüm modellerde segmentasyon başarısının arttığını ortaya koymaktadır. LR görüntüler üzerinde yapılan segmentasyon analizinde DeepLabV3+ modeli genel anlamda en yüksek doğruluk oranlarını sunar. Bunu LinkNet ve ardından U-Net modeli takip eder. SR görüntüler ile yapılan analizlerde LinkNet, önceki (LR görüntü ile yapılan test sonuçları) yanlış sınıflandırmaları büyük oranda düzelterek en başarılı sonuçları vermiştir. GT-1 görüntüleri kullanıldığında ise U-Net ve LinkNet modelleri oldukça yakın ve yüksek doğrulukta sonuçlar üretmiş, DeepLabV3+ modeli ise bu iki modelin gerisinde kalmıştır. Kıyı uzunluğu tahmini açısından yapılan değerlendirmelerde, GT-1 görüntüsü üzerinden manuel sayısallaştırma yöntemiyle elde edilen 3412.00 metrelik referans kıyı uzunluğu esas alınmıştır. LR görüntülerde en düşük göreli hata LinkNet modelinde %7.29 olarak gözlemlenirken, SR görüntülerde bu hata %6.33'e düşmüştür. GT-1 görüntüleriyle yapılan testlerde ise LinkNet modeli yalnızca %0.68'lik göreli hata ile gerçek kıyı uzunluğuna en yakın sonucu elde etmiştir. Bu sonuçlar, SR teknolojisinin kıyı çizgisi tespiti başarısını anlamlı şekilde artırdığını ve LinkNet modelinin özellikle kıyı uzunluğu belirleme açısından en yüksek doğruluk oranına sahip olduğunu göstermektedir. Bu çalışma, uydu görüntüleri üzerinden gerçekleştirilen kıyı çizgisi segmentasyonunun başarısının, doğrudan model mimarisi ve kullanılan görüntü çözünürlüğü ile ilişkili olduğunu ortaya koymuştur. SRGAN ile iyileştirilmiş görüntülerin kullanımı, özellikle LinkNet modeli ile birlikte değerlendirildiğinde, yüksek doğrulukta kıyı çizgisi tespiti yapılmasını mümkün kılmaktadır.