LEE- Elektronik Mühendisliği Lisansüstü Programı

Bu topluluk için Kalıcı Uri

http://hdl.handle.net/11527/19263

Gözat

Konu "Görüntü işleme" ile LEE- Elektronik Mühendisliği Lisansüstü Programı'a göz atma
  • Öge
    Estimation and restoration for heat haze effects in image and video processing
    (Graduate School, 2024-07-03) Tanas Alpergün, Özlem ; Ekşioğlu, Ender Mete ; 504211230 ; Electronics Engineering
    There is various type of distortions that decrease visual quality. Heat haze effect is one of them. It makes the distant objects difficult to see clearly. It causes by such reasons that temperature difference, heterogeneous refractive index, or flow of hot air fluctuation. It is known as heat haze, heat scintillation, heat mirage or atmospheric turbulence. The existing of heat haze can be easily seen with human visual system (HVS) especially from the videos. There is also an estimation method by using digital image correlation (DIC) measurements which shows the displacement and strain errors with colored vector plots. In this method, it is obtained distortion information by subtracting the compared images from each other. A comparison was made for both heat hazy and unhazy situations. To obtain the distortion information, it is used hazy or unhazy set of frames alongside one unhazy reference frame for hazy and unhazy situations, respectively. The reference unhazy frame is obtained from our restoration algorithm which is located at second part of this thesis for not-simulated natural data, due to the nonexistence in reality. Thus, this estimation just to visualize the effect of heat haze. As a restoration of heat haze, there is a model-based enhancement method is used, which is wavelet based, instead of deep learning-based methods. Some steps were applied in enhancement process. RoI alignment, frame selection, image registration and post-processing steps are applied. In an image fusion step that is the most important one in this steps, dual tree complex wavelet transform (DT-CWT) fusion is used having its directional selectivity and shift-invariance properties which is an advantage in accordance with other wavelet transforms. The restoration algorithm needs a few input frames to obtain one restored output frame. Then as an addition to the algorithm and a contribution to the thesis, successive hazy input frames are shifted to create output frames to obtain a restored video. At the end of this thesis, there is a comparison section, with the usage of HVS, full reference (FR) and no-reference (NR) methods. In full reference comparison which includes GSSM, GMSD, single-scale SSIM and multi-scale SSIM methods, a reference and a compared raw video sequences are needed to obtain quality scores. As a reference, hazy video was used due to its existence in natural, and as a compared video, the restored video output is used. In this thesis, the NR method, which is a method that does not require a reference, is also applied. In the NR method, JPEG quality score is obtained by using one restored image frame. Quality methods were applied to the result of our restoration algorithm, which includes two different fusion methods (pixel-based and region-based), with the camera's ready algorithm result, to create a comparison between algorithms. Also, for at different distance image scenes, NR metric was applied. Looking at the overall summary of NR and FR metrics, our DT-CWT fusion-based restoration algorithm is better than the camera algorithm in terms of not losing details and removing heat waves. In the pixel-based or region-based comparison of DT-CWT, it is seen that the region-based fusion method gives better results in terms of obtaining unnoisy data and removing heat waves especially at high distances. As a future work, in order to get rid of the ghost effects, which is seen in moving objects, motion detection algorithm can be added. Another improvable work is to accelerate the implementation to implement the algorithm in real-time video.
  • Öge
    Görüntü işlemede yama sıralama tabanlı yaklaşımlar
    (Lisansüstü Eğitim Enstitüsü, 2021) Çolak, Özden ; Ekşioğlu, Ender Mete ; 692961 ; Elektronik ve Haberleşme Mühendisliği
    Görüntülerde gürültünün en temel bozucu etki olması, gürültü gidermeyi görüntü işleme problemlerinin en önemlilerinden ve üzerinde en çok çalışılanlarından birisi haline getirmektedir. Bu tez çalışmasında öncelikle, literatüre yakın zamanda girmiş olan yama sıralama işlemi ve seyrekleştirici üç boyutlu dönüşümlerin ilk defa sunulan öncül bir birleşimi geliştirilmiştir. Sunulan yeni yaklaşımı kullanan yeni bir görüntü gürültüsü giderme algoritması geliştirilmiştir. Ayrıca tez çalışmaları kapsamında yama sıralama işleminin ve bilinen üstün başarımlı çevrimiçi sözlük öğrenme algoritmalarından olan RLS-DLA algoritmasının özgün bir birleşimi ile yeni bir yaklaşım geliştirilmiştir. Bu yeni yaklaşımı esas alan yeni bir gürültü giderme algoritması geliştirilmiştir. Böylelikle yama sıralama yaklaşımının kullanımının görüntü işleme uygulamaları arasında bu alanda da başarım performansına katkı sağladığı gösterilmiştir. Günümüz teknolojisinde dijital kameralar ve görüntüleme özelliğine sahip cep telefonları görüntü elde etmede kullanılan teknolojik cihazların başında gelir. Bu cihazlardaki dijital kameralar ile görüntü oluşturulurken hem görüntünün alındığı ortamdaki ışıktan kaynaklı hem de ilgili teknolojik cihazların elektronik donanımlarından kaynaklı gürültüler bozucu etki olarak görüntülere eklenirler. Bu gürültüleri birkaç ana başlık altında inceleyebilmek mümkündür. Dijital kameralar ile görüntüsü oluşturulacak objeden yansıyan ışık demetleri toplanıp elektriksel işarete dönüştürülürken çeşitli gürültüler meydana gelir. Bunlardan bir tanesi kameranın elektronik devresinde kullanım süresine bağlı olarak artan ısıl gürültüdür ve bu gürültünün şiddeti ihmal edilebilir derecede düşüktür. Görüntü oluşturma sürecinde ortaya çıkan bir diğer gürültü ise saçma gürültüsüdür. Bu gürültü, görüntüsü elde edilmek istenen nesneden yansıyan ışık demetlerinin kamera sensörlerine eşit şekilde saçılmamasından dolayı oluşur ve etkisi ihmal edilemeyecek kadar yüksektir. Bu sebepten dolayı kameralar ile elde edilen görüntüler mutlaka gürültülü olacaktır. Saçma gürültüsü Poisson dağılımına sahip olsa da kamera sensörüne çok fazla sayıda foton gelmesi durumunda bu dağılım Gauss dağılımının olasılık yoğunluk fonksiyonuna yakınsar ve böylece görüntülerdeki gürültünün Gauss dağılımlı olduğu varsayılır. Ayrıca kamera sensörlerinin her birinde yığınlanan foton sayısı birbirinden bağımsız olacağından dolayı görüntülerdeki gürültü uzaysal olarak ilintisiz olur. Sonuç olarak elde edilen görüntülerdeki gürültü sıfır ortalamalı, birbirinden bağımsız ve özdeş dağılmış Gauss olarak bir başka deyişle beyaz Gauss gürültüsü (white Gaussian noise-WGN) olarak kabul edilir. Son yıllarda seyreklik tabanlı işaret işleme oldukça aktif bir araştırma konusu olmuştur. Kötü koşullu ters problemlerin çözümünün doğrudan bulunamadığı pek çok uygulamada, çözüme olanak veren bir düzenleyici olarak seyreklik öncül bilgisi başarıyla kullanılmaktadır. Seyreklik düzenlemeli işaret gösterilimi probleminin çözümünde etkin yeni algoritmaların geliştirilmesi sayesinde, seyreklik odaklı işaret işleme ve sıkıştırılmış algılama yaygınlaşmakta ve kullanım alanları genişlemektedir. Seyrek işaret gösterilimini kullanan uygulamalar arasında görüntü işleme problemleri önemli yer tutmaktadır. Görüntülerde gürültü giderme seyrek işaret işlemedeki gelişmelerden önemli ölçüde faydalanmaktadır. Görüntü işleme literatüründe tüm görüntüyü tek seferde işleyen birçok çalışma sunulmuştur. Global görüntü işleme yaklaşımlarının baskın doğası gereği tüm görüntüyü bir seferde işlerken görüntüdeki yerel detaylar kaybolur. Bundan dolayı da işlenmiş görüntülerde bazı sahte periyodik desenler oluşabilir. Bu probleme engel olmak için görüntüyü kayan pencereler şeklinde ele alan yerel filtreler kullanılır. Bu sayede görüntünün tümü aynı anda işlenmektense yalnızca pencere boyutu kadarlık kısmı aynı anda işlenir ve sonuç olarak görüntüdeki yerel detaylar korunmuş olur. Bu yaklaşımda görüntünün her bir pencere boyutu kadarlık kısmı birbirinden ayrı olarak ele alınır ve çoğu zaman kayma miktarı örtüşmeli yamalar oluşturacak şekilde seçildiğinden bir pikselin birden fazla sayıda kestirimi oluşabilir. Dolayısıyla bir piksele uygulanan en son güncellemeden sonra daha eski kestirimlerdeki bilgiler kaybedilmiş olur. Yerel filtreler kullanılırken bir piksele ait son kestirim oluşturulurken o piksele ait her bir kestirimin ortalaması alınarak bu sorun giderilmiş olur. Doğal görüntülerdeki birçok piksel birbirine benzer olduğundan dolayı bu piksellerden oluşan küçük boyutlu yamaların da birbirine benzer olduğu varsayılır. Bu öz-benzerlik özelliğinin kullanımı ile görüntü işleme uygulamalarının temiz görüntünün dokusunu kestirme performansı önemli ölçüde artmıştır. Bundan dolayı bu performans artışından yararlanmak için birçok yama tabanlı gürültü giderme algoritmaları geliştirilmiştir. Bu performans artışının temelinde görüntünün farklı yamaları arasındaki ilişkiden doğan bilgileri kullanmak yatar. Yaroslavsky filtre, ikili filtre gibi piksel komşuluklarını kullanan klasik yerel filtrelerde bir referans yamanın merkezindeki pikselin yeni değeri kestirilirken bu pikseli çevreleyen pikselleri merkez alan yamalar kullanılır. Yerel metodların aksine yerel olmayan metodlarda ele alınan referans yamanın çevresinde olmasa dahi görüntünün belli bir komşuluğundaki diğer yamalarda kullanılır. Görüntülerde yerel olmayan fakat birbirine benzer olan yamaları bir arada işleyebilme yetisi performansta oldukça yüksek artış sağlar. Son yıllarda yama tabanlı metodların oldukça yeni sayılabilecek bir örneği olan yama sıralama yaklaşımı farklı görüntü işleme uygulamalarında kullanılmıştır. Bu yaklaşım bir görüntüdeki yamaların belli bir örtüşme miktarına göre çıkarılıp bir benzerlik kriterine göre art ardına sıralanmasına dayanır. Kullanılacak olan benzerlik kriteri olarak birçok farklı metrik vardır. Yine de en çok tercih edilen benzerlik kriteri Öklid uzaklığıdır. Birçok çalışmada referans bir yamaya benzer olan diğer yamaları arama işlemi belli bir alanda olacak şekilde kısıtlanmıştır. Yama sıralama yaklaşımında bir benzerlik kriterine göre benzer bulunan yamalar art ardına dizilerek bir 3B yama dizisi oluşturulur. Ardından elde edilen bu 3B yama dizisine basit bir 1B filtresi uygulanır. Literatüre son yıllarda girmiş olan ve performans olarak son teknoloji sayılan gürültü giderme algoritması BM3D (Block Matching-3D Transformation) sunulmuştur. Bu yöntemde seyrekleştirici 3B dönüşümlerin benzerliklerine göre gruplanmış yama gruplarına uygulanması önerilmiştir. Görüntüden çıkarılan her bir yama için bu referans yamaya benzeyen yamalardan oluşan bir grup oluşturulur. Bu yaklaşımdaki üstün seyrekleştirme gücü birbirine benzer olan 2B yamaların bir grupta biraraya getirilerek 3B yama dizisi oluşturulmasından gelir. Buradaki üçüncü boyut yamalar arasındaki benzerlik bilgisini taşır. Algoritma bu 3B yama dizisinin 3B dönüşümü, elde edilen dönüşüm katsayılarının dönüşüm bölgesinde eşiklenmesi ve ters dönüşüm işlemleri ile devam eder. Bu işlemler sonunda elde edilen ara kestirimi bir Wiener filtreleme adımında kullanarak gürültüsü giderilmiş görüntünün son kestirimi elde edilir. Burada Wiener filtreleme adımının kullanımı ile performansta önemli ölçüde gelişme sağlanmıştır. Fakat her bir yamanın benzerlerinin bulunup gruplandığı benzerlik araması adımı oldukça yüksek hesapsal karmaşıklığa sahiptir. Bu tez çalışmasında ilk olarak, yama sıralama ile seyrekleştirici dönüşümlerin birleştirilmesi ile yerel olmayan görüntü işleme için yeni bir yaklaşım geliştirilmiştir. Literatürdeki öncül çalışmalarda, sıralama sonrası yamalar üzerinde sıradan süzgeçleme işlemleri yapılarak gürültü giderilmesi önerilmiştir. Bu yeni yaklaşımda ise gürültü gidermede literatürde önerilen sıradan süzgeçleme yerine, 3B seyrekleştirici dönüşümlerin kullanılması önerilmiştir. Bu yaklaşımda, yama sıralamanın getirdiği yerel olmayan işlem yapma yetisi, 3B dönüşümlerin üstün seyrekleştirme gücüyle birleştirilmiştir. Yapılan çalışmalarda bu birleştirici yaklaşımın görüntü gürültüsü giderme uygulamasında öncül algoritmalara göre daha iyi sonuçlar verdiği görülmüştür. Ayrıca bu tez çalışmaları kapsamında yama sıralama işlemi bir çevrimiçi sözlük öğrenme yaklaşımına adapte edilerek yeni bir gürültü giderme algoritması daha geliştirilmiştir. Literatürde sunulan çoğu çalışmada çevrimiçi sözlük öğrenme algoritmaları gürültü giderme problemine genellikle daha yüksek performans sergilediğinden dolayı yamalar üzerinden uygulanmıştır. Bu çalışmalarda yamalar ele alınırken görüntü içerisindeki doğal sıraları esas alınmıştır. Bu tez çalışmasında önerilen yeni yaklaşımda ise, yamaların görüntüdeki konumlarından gelen doğal sırasından ziyade bir kısıta göre sıralanmasından elde edilen yeni bir sıralama esas alınarak özgün bir çevrimiçi sözlük öğrenme gerçekleştirilmiştir. Önerilen bu algoritmadaki bir diğer yenilik ise sözlük öğrenme işlemi ile yamaların gürültü giderme işleminin eşzamanlı olarak gerçekleştirilmesidir. Böylelikle, öğrenilen sözlüğün yerel yamalara daha iyi adapte olması sağlanmış ve bu yaklaşımın görüntü gürültüsü gidermede daha iyi sonuçlar elde ettiği gösterilmiştir.