Görüntü işlemede yama sıralama tabanlı yaklaşımlar

Abstract

Görüntülerde gürültünün en temel bozucu etki olması, gürültü gidermeyi görüntü işleme problemlerinin en önemlilerinden ve üzerinde en çok çalışılanlarından birisi haline getirmektedir. Bu tez çalışmasında öncelikle, literatüre yakın zamanda girmiş olan yama sıralama işlemi ve seyrekleştirici üç boyutlu dönüşümlerin ilk defa sunulan öncül bir birleşimi geliştirilmiştir. Sunulan yeni yaklaşımı kullanan yeni bir görüntü gürültüsü giderme algoritması geliştirilmiştir. Ayrıca tez çalışmaları kapsamında yama sıralama işleminin ve bilinen üstün başarımlı çevrimiçi sözlük öğrenme algoritmalarından olan RLS-DLA algoritmasının özgün bir birleşimi ile yeni bir yaklaşım geliştirilmiştir. Bu yeni yaklaşımı esas alan yeni bir gürültü giderme algoritması geliştirilmiştir. Böylelikle yama sıralama yaklaşımının kullanımının görüntü işleme uygulamaları arasında bu alanda da başarım performansına katkı sağladığı gösterilmiştir. Günümüz teknolojisinde dijital kameralar ve görüntüleme özelliğine sahip cep telefonları görüntü elde etmede kullanılan teknolojik cihazların başında gelir. Bu cihazlardaki dijital kameralar ile görüntü oluşturulurken hem görüntünün alındığı ortamdaki ışıktan kaynaklı hem de ilgili teknolojik cihazların elektronik donanımlarından kaynaklı gürültüler bozucu etki olarak görüntülere eklenirler. Bu gürültüleri birkaç ana başlık altında inceleyebilmek mümkündür. Dijital kameralar ile görüntüsü oluşturulacak objeden yansıyan ışık demetleri toplanıp elektriksel işarete dönüştürülürken çeşitli gürültüler meydana gelir. Bunlardan bir tanesi kameranın elektronik devresinde kullanım süresine bağlı olarak artan ısıl gürültüdür ve bu gürültünün şiddeti ihmal edilebilir derecede düşüktür. Görüntü oluşturma sürecinde ortaya çıkan bir diğer gürültü ise saçma gürültüsüdür. Bu gürültü, görüntüsü elde edilmek istenen nesneden yansıyan ışık demetlerinin kamera sensörlerine eşit şekilde saçılmamasından dolayı oluşur ve etkisi ihmal edilemeyecek kadar yüksektir. Bu sebepten dolayı kameralar ile elde edilen görüntüler mutlaka gürültülü olacaktır. Saçma gürültüsü Poisson dağılımına sahip olsa da kamera sensörüne çok fazla sayıda foton gelmesi durumunda bu dağılım Gauss dağılımının olasılık yoğunluk fonksiyonuna yakınsar ve böylece görüntülerdeki gürültünün Gauss dağılımlı olduğu varsayılır. Ayrıca kamera sensörlerinin her birinde yığınlanan foton sayısı birbirinden bağımsız olacağından dolayı görüntülerdeki gürültü uzaysal olarak ilintisiz olur. Sonuç olarak elde edilen görüntülerdeki gürültü sıfır ortalamalı, birbirinden bağımsız ve özdeş dağılmış Gauss olarak bir başka deyişle beyaz Gauss gürültüsü (white Gaussian noise-WGN) olarak kabul edilir. Son yıllarda seyreklik tabanlı işaret işleme oldukça aktif bir araştırma konusu olmuştur. Kötü koşullu ters problemlerin çözümünün doğrudan bulunamadığı pek çok uygulamada, çözüme olanak veren bir düzenleyici olarak seyreklik öncül bilgisi başarıyla kullanılmaktadır. Seyreklik düzenlemeli işaret gösterilimi probleminin çözümünde etkin yeni algoritmaların geliştirilmesi sayesinde, seyreklik odaklı işaret işleme ve sıkıştırılmış algılama yaygınlaşmakta ve kullanım alanları genişlemektedir. Seyrek işaret gösterilimini kullanan uygulamalar arasında görüntü işleme problemleri önemli yer tutmaktadır. Görüntülerde gürültü giderme seyrek işaret işlemedeki gelişmelerden önemli ölçüde faydalanmaktadır. Görüntü işleme literatüründe tüm görüntüyü tek seferde işleyen birçok çalışma sunulmuştur. Global görüntü işleme yaklaşımlarının baskın doğası gereği tüm görüntüyü bir seferde işlerken görüntüdeki yerel detaylar kaybolur. Bundan dolayı da işlenmiş görüntülerde bazı sahte periyodik desenler oluşabilir. Bu probleme engel olmak için görüntüyü kayan pencereler şeklinde ele alan yerel filtreler kullanılır. Bu sayede görüntünün tümü aynı anda işlenmektense yalnızca pencere boyutu kadarlık kısmı aynı anda işlenir ve sonuç olarak görüntüdeki yerel detaylar korunmuş olur. Bu yaklaşımda görüntünün her bir pencere boyutu kadarlık kısmı birbirinden ayrı olarak ele alınır ve çoğu zaman kayma miktarı örtüşmeli yamalar oluşturacak şekilde seçildiğinden bir pikselin birden fazla sayıda kestirimi oluşabilir. Dolayısıyla bir piksele uygulanan en son güncellemeden sonra daha eski kestirimlerdeki bilgiler kaybedilmiş olur. Yerel filtreler kullanılırken bir piksele ait son kestirim oluşturulurken o piksele ait her bir kestirimin ortalaması alınarak bu sorun giderilmiş olur. Doğal görüntülerdeki birçok piksel birbirine benzer olduğundan dolayı bu piksellerden oluşan küçük boyutlu yamaların da birbirine benzer olduğu varsayılır. Bu öz-benzerlik özelliğinin kullanımı ile görüntü işleme uygulamalarının temiz görüntünün dokusunu kestirme performansı önemli ölçüde artmıştır. Bundan dolayı bu performans artışından yararlanmak için birçok yama tabanlı gürültü giderme algoritmaları geliştirilmiştir. Bu performans artışının temelinde görüntünün farklı yamaları arasındaki ilişkiden doğan bilgileri kullanmak yatar. Yaroslavsky filtre, ikili filtre gibi piksel komşuluklarını kullanan klasik yerel filtrelerde bir referans yamanın merkezindeki pikselin yeni değeri kestirilirken bu pikseli çevreleyen pikselleri merkez alan yamalar kullanılır. Yerel metodların aksine yerel olmayan metodlarda ele alınan referans yamanın çevresinde olmasa dahi görüntünün belli bir komşuluğundaki diğer yamalarda kullanılır. Görüntülerde yerel olmayan fakat birbirine benzer olan yamaları bir arada işleyebilme yetisi performansta oldukça yüksek artış sağlar. Son yıllarda yama tabanlı metodların oldukça yeni sayılabilecek bir örneği olan yama sıralama yaklaşımı farklı görüntü işleme uygulamalarında kullanılmıştır. Bu yaklaşım bir görüntüdeki yamaların belli bir örtüşme miktarına göre çıkarılıp bir benzerlik kriterine göre art ardına sıralanmasına dayanır. Kullanılacak olan benzerlik kriteri olarak birçok farklı metrik vardır. Yine de en çok tercih edilen benzerlik kriteri Öklid uzaklığıdır. Birçok çalışmada referans bir yamaya benzer olan diğer yamaları arama işlemi belli bir alanda olacak şekilde kısıtlanmıştır. Yama sıralama yaklaşımında bir benzerlik kriterine göre benzer bulunan yamalar art ardına dizilerek bir 3B yama dizisi oluşturulur. Ardından elde edilen bu 3B yama dizisine basit bir 1B filtresi uygulanır. Literatüre son yıllarda girmiş olan ve performans olarak son teknoloji sayılan gürültü giderme algoritması BM3D (Block Matching-3D Transformation) sunulmuştur. Bu yöntemde seyrekleştirici 3B dönüşümlerin benzerliklerine göre gruplanmış yama gruplarına uygulanması önerilmiştir. Görüntüden çıkarılan her bir yama için bu referans yamaya benzeyen yamalardan oluşan bir grup oluşturulur. Bu yaklaşımdaki üstün seyrekleştirme gücü birbirine benzer olan 2B yamaların bir grupta biraraya getirilerek 3B yama dizisi oluşturulmasından gelir. Buradaki üçüncü boyut yamalar arasındaki benzerlik bilgisini taşır. Algoritma bu 3B yama dizisinin 3B dönüşümü, elde edilen dönüşüm katsayılarının dönüşüm bölgesinde eşiklenmesi ve ters dönüşüm işlemleri ile devam eder. Bu işlemler sonunda elde edilen ara kestirimi bir Wiener filtreleme adımında kullanarak gürültüsü giderilmiş görüntünün son kestirimi elde edilir. Burada Wiener filtreleme adımının kullanımı ile performansta önemli ölçüde gelişme sağlanmıştır. Fakat her bir yamanın benzerlerinin bulunup gruplandığı benzerlik araması adımı oldukça yüksek hesapsal karmaşıklığa sahiptir. Bu tez çalışmasında ilk olarak, yama sıralama ile seyrekleştirici dönüşümlerin birleştirilmesi ile yerel olmayan görüntü işleme için yeni bir yaklaşım geliştirilmiştir. Literatürdeki öncül çalışmalarda, sıralama sonrası yamalar üzerinde sıradan süzgeçleme işlemleri yapılarak gürültü giderilmesi önerilmiştir. Bu yeni yaklaşımda ise gürültü gidermede literatürde önerilen sıradan süzgeçleme yerine, 3B seyrekleştirici dönüşümlerin kullanılması önerilmiştir. Bu yaklaşımda, yama sıralamanın getirdiği yerel olmayan işlem yapma yetisi, 3B dönüşümlerin üstün seyrekleştirme gücüyle birleştirilmiştir. Yapılan çalışmalarda bu birleştirici yaklaşımın görüntü gürültüsü giderme uygulamasında öncül algoritmalara göre daha iyi sonuçlar verdiği görülmüştür. Ayrıca bu tez çalışmaları kapsamında yama sıralama işlemi bir çevrimiçi sözlük öğrenme yaklaşımına adapte edilerek yeni bir gürültü giderme algoritması daha geliştirilmiştir. Literatürde sunulan çoğu çalışmada çevrimiçi sözlük öğrenme algoritmaları gürültü giderme problemine genellikle daha yüksek performans sergilediğinden dolayı yamalar üzerinden uygulanmıştır. Bu çalışmalarda yamalar ele alınırken görüntü içerisindeki doğal sıraları esas alınmıştır. Bu tez çalışmasında önerilen yeni yaklaşımda ise, yamaların görüntüdeki konumlarından gelen doğal sırasından ziyade bir kısıta göre sıralanmasından elde edilen yeni bir sıralama esas alınarak özgün bir çevrimiçi sözlük öğrenme gerçekleştirilmiştir. Önerilen bu algoritmadaki bir diğer yenilik ise sözlük öğrenme işlemi ile yamaların gürültü giderme işleminin eşzamanlı olarak gerçekleştirilmesidir. Böylelikle, öğrenilen sözlüğün yerel yamalara daha iyi adapte olması sağlanmış ve bu yaklaşımın görüntü gürültüsü gidermede daha iyi sonuçlar elde ettiği gösterilmiştir.

Noise is the most fundamental disturbing effect in images. This fact makes image denoising one of the most important image processing problems and one of the most studied. In this thesis, firstly, a preliminary combination of patch ordering and sparsifying 3D transformations, which has recently entered the literature, was developed. A new image denoising algorithm has been developed using the proposed new approach. In addition, within the scope of thesis studies, a new approach has been developed with a unique combination of patch ordering and RLS-DLA algorithm, which is one of the well-known high performance online dictionary learning algorithms. Thus, it has been shown that the use of the patch ordering approach contributes to the performance in this field among image processing applications. Digital cameras collect the light beams reflected from the object through their lenses and convert them into electrical signals. During the acquisition of a digital image signal from this electrical signal, shot noise and thermal noise are added to the electrical signal. Therefore, the digital image signal obtained from digital cameras becomes a noisy image. The noises arising during the acquisition of the digital image signal can be modeled mathematically. Thermal noise, that is caused via heating of electronic circuits inside the cameras increases as a function of usage time. Generally, the effect of thermal noise is minimal. However, the effect of the shot noise which is arising from the photonic nature of the light is too high to be ignored. The resulting observation will always be noisy, because the photons do not hit the camera sensors uniformly even for a uniform scene. As a result of this photon counting process of the image observation model, the observed noise will be signal-dependent. Hence the observed noise is generally modeled as Poisson distribution. However, if large number of photons arrive at the camera sensor, the probability density function of the Poisson distribution converges to the probability density function of the Gaussian distribution. Furthermore, the noise can be regarded as spatially uncorrelated since the photons are stacked separately from each other in each of the camera sensors. Therefore the observed image noise is usually modeled as zero mean independent and identically distributed Gaussian or white Gaussian noise (WGN). Consequently the image denoising problem is defined as the problem of obtaining the noise removed image from the image that is contaminated with white Gaussian noise. In recent years sparsity based signal processing has been a quite active research topic. There are many applications where the solution of ill-conditional inverse problems cannot be directly found. The prior knowledge of sparsity is successfully used as a regulator to enable the solution in these applications. Thanks to the development of the new effective algorithms in solving the sparse regulated signal representation problem, sparsity oriented signal processing and compressed sensing are becoming widespread and their usage areas are expanding. Image processing problems occupy an important place among the applications that use sparse signal representation. Image denoising benefits significantly from the improvements in sparse signal processing. Plenty of methods have been proposed in image processing that deals with the whole image. When processing the whole image at once the local visual details are lost out due to the domination of the global image processing approach. Therefore some periodic artifacts may occur in the image. To avoid this problem the local filters are used. When using local filters the image is handled with local sliding windows. Since the image is processed with amount of the size of the local filters window, the local visual details are preserved. In this approach, each window sized part of the image is handled independently. In the general use of local filters, each of the overlapping patches are processed independently. For such a case, some pixels are subjected to denoising operation multiple times. So it is likely to lost some information after the last update applied to any pixel. For this reason, this problem is eliminated by the approach of finding the result of a pixel by averaging all the results. A significant improvement in performance has been achieved with the use of this approach in local filters. Since the most of pixel values of a natural image are similar, the smaller sized patches made up of these pixels are also considered similar. The performance of image denoising applications are increased by utilizing this self-similarity property of natural images while the recovery of texture of the clean image. Therefore, many patch-based image denoising methods have been proposed to take advantage of this performance increase. This performance increase arise from the interrelation between the individual patches of an image. Local methods such as classical neighborhood filters, Yaroslavsky Filter, bilateral filter utilize the neighbor patches of a reference patch to estimate the centered pixel's new value. Unlike local methods, non-local methods also utilize the patches that are not close to the reference patch. The ability of the non-local image processing approach to process together the similar patches provides the increase in the performance. Recently the idea of patch ordering which is an example of patch-based methods is applied to various image processing problems. Patch ordering is based on extracting patches from an image and processing these patches into a sequence. The utilized approach for calculating the similarity of the image patches can be selected from a variety of metrics. However the mostly preferred approach is Euclidean distance. The searching operation of similar patches to a reference patch is restricted to a constrained area of an image. A 3D patch sequence is formed by ordering the similar patches sequentially in a line. The obtained 3D patch cube is processed by utilizing a basic 1D filter in this recent research. In recent years a state-of-the-art image denoising approach BM3D (Block Matching-3D Transformation) is proposed. The method offers the application of sparsifying 3D transforms on patch groups formed from similar patches. For every extracted patch from an image, a group is formed from the patches that are found similar to the reference patch. The enhanced sparsifying power of the transformations is obtained by grouping similar 2D image patches into 3D data arrays. The third dimension of the formed 3D data array carries each inter-patch information. The algorithm is continued with 3D transformation of 3D data array, shrinkage of obtained 3D transform coefficients in the transform domain and inverse transformation operations. By using the resulting basic estimate in a Wiener filtering step the final estimate of the denoised image is obtained. A remarkable performance improvement is achieved by utilizing such a final Wiener filtering step. However, the similar patch search process has quite high computational complexity. In this thesis, firstly, the combination of patch ordering and sparsifying transformations was realized, which is a new approach for non-local image processing. In the preliminary studies in the literature, it was proposed to denoise the image by performing ordinary filtering processes on the patches after ordering. In this new approach, it is suggested to use 3D sparsifying transformations instead of ordinary filtering as suggested in the literature for image denoising. In this approach, the non-local processing capability of patch ordering is combined with the superior sparsening power of three-dimensional transformations. Studies have shown that this unifying approach gives better results than the advanced algorithms in image denoising. In addition, within the scope of this thesis, a new image denoising algorithm has been developed by adapting the patch ordering process to an online dictionary learning approach. Since using the patches instead of the whole image shows higher performance, in most of the studies presented in the literature, online dictionary learning algorithms have been applied through patches to the image denoising problem. While handling the patches in these studies, their natural order in the image was taken as basis. In the new approach proposed in this thesis, a unique online dictionary learning was realized based on a new order derived from ordering the patches according to a constraint rather than their natural order from their position in the image. Another innovation in this proposed algorithm is to perform the dictionary learning process and the denoising process of the patches simultaneously. In this way, it has been shown that the learned dictionary is better adapted to local patches and this approach achieves better results in image denoising.