Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar

Abstract

Çeşitli kayıt cihazlarının doğasında olan fiziksel sınırlamalar nedeniyle görüntüler, görüntü edinimi sırasında bazı rastgele gürültülerin tezahürüne eğilimli hale gelir. Gürültü, temel bir sinyal bozulması olarak anlaşılabilir. Görüntü gözlem ve bilgi çıkarma sürecini engeller. Gürültü, görüntülerde kaliteyi zedeleyen ve istenmeyen bir süreçtir. Gürültü, görüntüden ayrılarak görüntü yorumlanabilirliği ve görüntüden bilgiyi elde etme işlemi kolaylaştırılmaktadır. Görüntü gürültü giderme problemi, uzun yıllardır süregelen görüntü işlemenin temel sorunlarından biridir. Gürültüsü giderilmiş görüntüyle çalışmak, görüntü işleme uygulamalarında sonraki adımlardaki işlemlerin daha yüksek başarımlı ve verimli olmasını sağlamaktadır. Gürültü, birçok farklı dağılıma sahip olabilen karmaşık bir süreçtir. Gürültünün modeli, kamera çipinde imge ayrıklaştırılıyorken bilinebilse gürültünün tamamen temizlenmesi mümkün olabilirdi. Görüntülerde gürültü genelde yüksek frekanslı kenar bölgeleri ve görüntünün doku ve ayrıntı içeren bölgelerinde ortaya çıkmaktadır. Görüntü gürültü giderme metotları, gürültüyü elimine ediyorken bazı ayrıntıları da istenmedik biçimde yok edebilmektedir. Bu durum görüntülerdeki kaliteyi düşürebilmektedir. İyi bir görüntü giderme algoritması gürültüyü giderirken imgenin doğasına ve ayrıntılarına mümkün olduğunca az zarar verendir. Günümüzde yeni nesil yüksek performanslı metotlar bu özelliğe çok özen göstermektedir. Yapılan çalışmalarda niteliksel sonuçların yanı sıra niceliksel olarakta görüntülerin zarara uğrayıp uğramadıkları görsel olarak paylaşılmaktadır. Bu bağlamda yapısal benzerlik indeksi literatürde oldukça fazla işlenmiş ve görüntülerdeki ayrıntıların onarımı bu indekse bakılarak ölçülmüştür. Görüntü gürültü giderme kötü pozlanmış ve tersine bir problemdir. Giriş sinyali genellikle yetersiz bilgiye sahipken, çıktının sonsuz sayıda çözümü vardır. Görüntülere rastgele olarak eklenmiş gürültü değerlerinin ayıklanması, gürültülü görüntülerden gürültü değerlerinin çıkarılması tersine işlemiyle mümkün olacaktır. İşlem esnasında görüntüdeki detayların korunulması gerektiği unutulmamalıdır. Gürültünün rastgeleliği ve çeşitliliği bu işlemin önündeki en büyük engeldir ve modeli bilinmeyen gerçek dünya gürültüleri problemi iyice zorlaştırmaktadır. Görüntülerde gürültü giderme işlemi, pek çok uygulama alanı bulmaktadır. Tıbbi görüntüleme, uzaktan algılama, askeri ve gözetleme, robotik ve yapay zeka gibi çeşitli uygulama alanlarında değerli bilgiler sağlayan çeşitli sayısal görüntüler mevcuttur. Bu görüntülerin kirlenmesi, görüntünün yorumlanabilirliğini geri dönülemez biçimde yok eder. Görüntü gürültü giderme işleminden genellikle ilk adım olarak görüntülerin daha temiz ve yorumlanabilirliği yüksek hale getirilmesinde yararlanılır. Burada yapılan işlemler gelecek adımları da etkileyeceği için görüntü gürültü gidermenin doğruluğu ve kalitesi büyük önem arz etmektedir. Görüntü gürültü giderme uzun yıllardır işlenen ve klasik bir yöntem olmasına karşın halen aktif olarak çalışılan bir problemdir. Problemin benzersiz çözümünün olmayışı ve farklı görüntü restorasyonu ve derin öğrenme problemlerinden direkt olarak etkileniyor oluşu bunu sağlamaktadır. Tez çalışmasında görüntü gürültü giderme problemi derinlemesine incelenmiş olup bu alanda yapılmış çalışmalar detaylıca gösterilmiştir. Klasik yöntemlerden günümüzde sıkça kullanılan ve işlenen derin öğrenme metotlarına kadar geniş bir perspektif göz önüne alınmıştır. Derin öğrenmeye dayalı görüntü gürültü giderme tarafında görüntü sınıflandırma ve görüntü bölütleme gibi farklı derin öğrenme alanlarında kullanılıp iyi sonuç gösteren derin öğrenme blok yapıları incelenip, çeşitli görüntü gürültü giderme ağları önerilmiştir. Uygulama kısmında, derin öğrenme yaklaşımlı yöntemler olan görüntü gürültü giderme ağı DnCNN, hızlı ve esnek görüntü gürültü giderici ağ FFDNet, kalıcı hafıza ağı MemNet, yoğun bağlı hiyerarşik görüntü giderme ağı DHDN, literatüre yeni kattığımız yenilikçi bir derin öğrenme yaklaşımı olan SADE Net ve yine kendi ürünümüz yoğun bağlı genişleme ağı DDR-Net gerçeklenmiştir. Sonuçları karşılaştırmalı olarak sergilenmiştir. Klasik yöntemlerden olan blok uyumlamalı 3-boyutlu filtreleme görüntü içindeki blokları kayan bir şekilde işler ve referans bloklara benzer blokları arayarak blok eşleştirme konseptini kullanır. Uyum kriterini gerçekleştiren bloklar üç boyutlu olarak gruplandırılır. Üç boyutlu dönüşüm tekniği bu blokları dönüşüm uzayına aktarır. Ardından dönüşüm bölgesi filtreleme işlemi sert eşikleme kullanılarak yapıldıktan sonra yeniden üç boyutlu ters dönüşüm bloklara uygulanır ve bloklar dönüşüm uzayından görüntü uzayına aktarılır. Wiener filtreleme işlemin ikinci adımını oluşturur bu adımdan sonra blokların uygun şekilde birleştirilmesi ile işlem tamamlanmış olur. Tez kapsamında karşılaştırılan tüm yöntemler yöntemler derin evrişimsel sinir ağlarını kullanır. Bu ağlar öznitelik çıkarımı yapar ve bu öznitelikleri kullanarak temiz görüntüyü oluşturmaya çalışır. Öznitelik çıkarımının kalitesi ve bu özniteliklerin ağın sonuna kadar kayıpsız taşınması işlemleri çok kritiktir. Bu ağlar öznitelikleri filtre çekirdekleri kullanarak çıkartır. Bir evrişimsel sinir ağında her bir çekirdek, imge üzerinden farklı öznitelikler çıkartır. Evrişim işlemi her ayrı filtre için gerçekleşir ve öznitelik haritaları oluşturulur. Bu haritalar her bir katmanda değiştirilerek gürültü her bir katmanda azaltılır. Evrişim işlemi giriş öznitelik haritası ya da imge ile filtre çekirdeklerinin çarpımı olarak algılanabilir. Burada çekirdeklerin boyutları büyük önem taşımaktadır. Literatürde en çok kullanılan çekirdek boyutu 3x3'tür. Filtreleme sonrası giriş imgesinin boyutunun azalmaması için imgenin köşelerine piksel ekleme işlemi sıklıkla yapılır. Bu sayede imgenin katmanlar boyunca küçülmesinin ve piksel kaybı yaşanmasının önüne geçilir. Bu işlem genellikle sıfır değerli piksellerin eklenmesiyle gerçekleşir. Aynı piksel değerlerinin kopyalanması ya da ortalama piksel değerlerinin eklenmesi gibi çeşitli yollar da mevcuttur. Bu noktada filtre kaydırma katsayısı da boyutun değişimini etkilemektedir. Çekirdek, imge üzerinde birer piksel kayarak tarama yaparsa ve yeterli piksel ekleme sağlanırsa katmanın çıkışında boyut değişimi olmaz fakat 3x3 ya da daha büyük bir çekirdek kullanılıp piksel ekleme yapılmamışsa ya da çekirdeğin imge üzerinde kayması bir pikselden fazla ise katman çıkışında küçülme gözlenir. Çekirdeğin öznitelik haritası üzerinde birden fazla atlamayla kaymasına adımlı evrişim denir ve oto kodlayıcı tipi bazı yapılar alt örneklem esnasında bu işlemi kullanır. Açılmış filtre yöntemi ise çekirdeğin arasına sıfırlar eklenmesi ve böylece filtrenin imge üzerinde daha geniş bir alanı taraması işlemi olarak düşünülebilir. Ağ boyunca uygulanan bu evrişimsel işlemlerin yanı sıra derin öğrenmeden uyarlanan ve bu derin ağlar içerisinde kullanılınca iyi sonuçlar alınmış yığın normalizasyonu, artık öğrenme, doğrusal olmayan aktivasyon fonksiyonları gibi teknikler olmazsa olmazdır. Yığın normalizasyonu eğitim işleminin ivmelenmesini sağlarken, aktivasyon fonksiyonları ise ağın belli değerler aralığında kısıtlanmasını ve doğrusal olmamasını sağlar. Artık öğrenme tekniği direkt olarak temiz görüntü yerine gürültünün öğrenilmesi yöntemidir. Temiz görüntü girişteki gürültülü görüntüden ağın çıkışında elde edilmiş gürültünün çıkarılmasıyla sağlanır. Bu yöntemin aşırı büyük ağların eğitiminde doğruluğu arttırdığı gözlemlenmiştir. Ağların eğitiminde çeşitli veri setlerinden yararlanılır. Bu veri setlerinden elde edilen görüntülerden yama çıkarılır ve bu yamalar ağa beslenir. Kayıp fonksiyonu bu temiz yama ile ağın çıkışındaki yamaları girdi olarak alıp bir kayıp değeri hesaplar. Bu değer, optimize edici tarafından ağa yayılır ve çekirdeklerin yeni değerleri hesaplanır. İstenilen noktada ağın eğitimi kesilebilir. Epok değeri verisetinin ağ üzerinde kaç kez bir tam tur attığını gösterir. Veri setinin büyük olması ağın daha farklı imgeleri tanıyıp daha geniş bir kümeyi öğrenmesini sağlar. Fakat eğitim süresini de uzatabilmektedir. Çeşitli varyanslardaki gürültülü görüntülerle eğitilmiş ağ, sonrasında test veri setine tabi tutularak ağın gürültüyü ne kadar temizlediği ve görüntüyü ne kadar onardığı saptanmaktadır. Bu sonuçlardan hareketle, derin öğrenme tabanlı yaklaşımların klasik yöntemlere göre daha iyi sonuçlar sergilediği gözlenmiştir.