Solving image processing problems by using nonstandard regularization

Abstract

Kelime olarak görü (vision) sözlük anlamında, "görme yeteneği x olara.k tanımlanmaktadır, insanların görme sistemi bu yeteneğe sahiptir ve ek olarak çevredeki pek çok karmaşık nesneyi anlamamıza, ve düzenlememize olanak tanımaktadır. Bilgisayarla, görmeninde, insanların dış dünyayı nasıl gördüğünü ve anladığını açıklayan insan görmesiyle çok yakından ilgisi vardır. Bu alanda, çalışan araştırmacılar, en güçlü sistemleri kullanarak insan görme sisteminin benzefişimine çalışmakta, farklı yöntemlerle problemlere çözüm aramaktadır, ancak henüz hiç biri tam bir başarıya ulaşamamıştır. Bunun nedenleri arasında, bilgisayarların insan görme sistemine göre henüz ilkel olması, bilgisayarla görmedeki gelişmelerin henüz olgun bir aşamaya gelmemesi, insan görme sisteminin çok fazla karmaşık olması yer almaktadır. Neden her ne olursa olsun, bilgisayarla görme alanındaki araştırma çalışmaları diğer alanlardakilere göre uç noktada, işlem gücü gerektiren, matematik olarak karmaşık, yüksek teknoloji gerektiren ve çok geniş bilgisayar; olanakları isteyen yapıda olmuştur. Üç boyutlu dünyanın iki boyuttaki izdüşümleri, çevremizdeki üç boyutlu dünyanın karmaşıklığı hakkında, bize az miktarda bilgi vermektedir. Herhangi bir görü sistemi, gerçek üç boyutlu bir nesnenin bir veya birden fazla, ardışıl resim çerçevesini kullanarak, o nesnenin Öz niteliklerini çıkartabilmclidir. Tanıma söz konusu olduğunda, bu nitelikler, nesne sınırlarım bularak veya bütün bir görüntüyü bölütlendirmeyle daha küçük parçalara, ayırarak, her nesneyi diğe rinden ayırma.da kullanılabilmektedir. Bölge (region), bütün beneklerin yanındakilerle. bitişik olduğu bağlantılı be nekler kümesi olarak tanımlanmaktadır. Görüntü bölüflendirınc (segmentation) 'Longman Dictionary of Con temporary Krıgl'mlı," Longman Group lAd. 1978 ise, sayısal bir resmin anlamlı ve birbiriyle örtülmeyecek biçimde bölgelere parçalanması anlamına gelmektedir. Bölütlendirme, temel olarak iki değişik yaklaşımla, gerçeklenmektedir. Bölge temelli yaklaşımda, belli nesnelere veya bölgelere aynı benek değerleri atanmaktadır. Ayrıt temelli yaklaşımda, ise, bölgeler arasındaki sınırların bulunmasına, çalışılmaktadır. Ayrıt, yüzey yapısındaki değişiklik, aydınlatma veya görünen yüzeylerin izleyiciden uzaklığı gibi nedenlerden ortaya, çıkan, nesnelerin fiziksel değişikliklerinin görüntüye de yadsımasından oluşan sınırlar veya hatlar olarak tanımlan maktadır. Nesne tanıma gibi üst düzey işlemlerin başarımı, ayrıtların tam ve doğruluğuna bağlı olduğu için, ayrıt saptama bilgisayarla görmenin esas araştırma konularından birisini oluşturmakladır. Nesnelerin fiziksel yapılarından kaynaklanan ve görüntüye yoğunluk (intensity) değişimleri olarak yansıyan ayrıtların saptanmasının amacı, seyrek olmasının yanı sıra, nesneler hakkında tanı ve anlamlı tanımlar elde etmektir. Buna bağlı olarak ileriki bölümlerde, ayrıt saplamada göz önüne alınması gereken kriterler sunulmakta, iyi bir ayrıt saptayıcıdan beklenen özellikler verilmektedir. Ayrıt saptama yöntemleri, evriştirmeye (convolution) ve enerji azaltılmasına dayanan algoritmalar olarak da ikiye ayrılmaktadır 2. Bu tez içinde her iki yönteme de dayanan ayrıt saptayıcılar ele alınmıştır. İkinci bölümde ele alman iki ayrıt saptayıcıdan birisi olan uyarlanır düzleme [1] katlamaya dayanmaktadır. Düzenleme teorisine dayananlar modellemesi ve bunun yırtılabilir [2] hali ise enerji indirgenmesiyle gerçeklenmektedir. Ayrıt saptamanın üzerine inşa, edilen kodlarımda enerji en aza indirgenmesi, seyrek veri olması durumunda gerçeklenmektedir. Resimdeki süreksizlik noktalarından faydalanan bulanıklık giderme yönteminde ise en aza indirilecek enerji fonksiyoneli içinde evriştirme içeren bir fonksiyon yev almaktadır. Düzgünleştirme teorisi içinde yer alan zar modeli, bu çalışma, içinde ayrıt saplama, yüzey kurma, kodlanın., netleştirme, yeni bir çok ölçekli gösterilim elde etme amacıyla kullanılmıştır. Bu tezde, düzgünleştirme teorisine dayanan tümleşik bir yaklaşım, bu problemlerin çözümünde kullanılmıştır. Özellikle yırtılabilir zarın kullanılmasıyla gerçekleştirilen ayrıt saptamadan yola, çıkılarak geliştirilen kodlama ve netleştirme gibi diğer yöntemler, düzgünleştirme teorisinin kullanım alanını genişletmektedir. Böylece görüntü işleme alanındaki pek çok probleme aynı teorinin kullanılmasıyla çözüm getirilmektedir. Burada incelenen ve geliştirilen yöntemlerde yırtılabilir zar modeli kullanılmıştır. Bu modele ilişkin enerji fonksiyoneli dışbükeydir. Yani fonksiyonelin birden fazla en az durumu vardır, ancak bunlardan ancak bir tanesi bütünsel en 2Ayrıt saptamadan önce yapılan düzleme işlemleri de, saptayıcıların önemli bir özelliğidir. Örneğin iki ayrıt saptama yönteminin karşılaştırılmasının m yapıldığı bölümde (sayfa 7) resim düzleme yöntemleri, alçak geçiren süzgeçlerin kullanılması, gürültülü resme yerel olarak eğriler uydurma ve bütünsel eğri uydurma olmak üzere üç ana, bölüme ayrılmaktadır. XII #*r b) Şekil i. Dışbükeylik. (a,) ve (b) durumları kararlı durumlardır. Ancak orta.da.ki (c) dununu diğerlerine göre daha yüksek enerjiye sahiptir. azdır, diğerleri yerel en az durumlardır. Sistem bu tür yerel en az durumlarından birisine takıldığında, dışarıdan yeterince büyük bir etkinin gelmesiyle diğer bir en az duruma geçebilmektedir. Bu durum Şekil 1 ile de gösterilebilir. Bu durumda. yay, deformasyon veya. kırılma noktasını geçecek şekilde uzatılmıştır. Kırılma, noktasını geçen yay da kararlı olmasına rağmen yapısal olarak ilk haldeki yaydan farklı bir yapıdadır ve her iki hal farklı eri az durumlarını temsil etmektedir. Burad.'ki yayın da. birden fazla en az durumu vardır. Bu nedenle, yırtılabilir zar modellcmesindc elde edilen enerji fonksiyonelinin en aza indirilmesinde standart en iyileme yöntemleri kullanılamamaktadır. Rassal yöntemlerin kullanımı her ne kadar olası ise de, bu tip yöntemler çok fazla işlem yükü gerektirmektedir [3]. Bu çalışmada, standart olmayan nedensel bir yöntem olan aşamalı dış bükeylik algoritması kullanılmaktadır. Düzgünleştirme teorisindeki yırtılabilir zar modelinde ayrıtları saptanacak resmin, önce parça parça düzlenmiş bir lonksiyonla modellemesi yapılma.kta.dır. İki boyutta, yırtda.bilir zar ile ınodellenen resim aşağıdaki enerji fonksiyoneliyle ila.de edilmektedir [2]: E = £EK>-4.;)a+ (D » j xnı Burada d giriş resmi, u oluşturulan resim, l ve m sadece 0 veya 1 değeri alabilen çizgi işlev değişkenleri, A ve a da pozitif değerli iki parametredir. Oluşturulan resini u parça, parça düzlenmişfii'. Zara yntılabilİr özelliğini çizgi işlevi adı veri len mantıksal değişkenler vermektedir. Çözüm olarak bulunacak u fonksiyonu, bu enerji fonksiyonelinin en aza indirilmesiyle elde edilmektedir. Ancak bu fonksiyo nelin içbükeylik (convexity) özelliği yoktur [2, 3]. Bu nedenle standart olmayan bir en aza indirme yöntemiyle çözüm yoluna gidilmektedir. Aşamalı dış bükeylik (Graduated Non- Convexity) adı verilen ve gerekimci olan bu yöntem temel olarak, dışbükey bir enerji fonksiyonelinin bir parametre ye bağlı olarak içbükeyliğinin kontrol edilmesine dayanmaktadır. Bu paramet reyle enerji fonksiyoneli değiştirilmekte ve en a.za indirme değiştirilmiş fonksiyo nel üzerinde gerçeklenmektedir. Yırtılabilir zar modellenıesindeıı ortaya, çı kan dışbükey enerji fonksiyonelinin bu şekilde değiştirilmesi Blake ve Zisserman [2] tarafından önerilmiştir. Değiştirilmiş enerji fonksiyoneli şu şekilde verilmektedir: e{p) = E£K,-^,)2 + (2) E £c5Kj - «M-l (p), > J « J ve aip) XH2 \t\ < q a-c(\t\ -rfj'l q < \t\ < r ;3) a \t\>T. Burada c - c* /p, r2 = a(2/c + l/A2), q - a/(A2r) olarak verilmektedir [2, 3]. g*\ fonksiyonuna, yerel etkileşim fonksiyonu adı verilmektedir. Orfa.da.n kaldırılmış çizgi işlevleri, *(*) = 1 \t\ > y/a/\ 0 diğer hallerde. (4) ile tekrar elde edilebilmektedir. Yırtılabilir zar modelinde kullanılan değiştirilmiş fonksiyonel, sadece bu mo dele özgüdür ve farklı türdeki enerji fonksiyonelleri için çalışması söz konusu değildir. Daha başka dışbükey enerji fonksiyonellerinin de bu yöntemle en aza indirilmesi gerektiğinde, burada kullanılan yönteme benzer biçimde, enerji fonk siyonelinde dışbükeyliğe neden olan kışımın değiştirilmesi gerekmektedir. xıv İkinci bölümde, ayrıl, saplama amacıyla geliştirilen iki değişik yaklaşım nice liksel ve niteliksel olarak karşılaştırılmakta, ve böylece daha önce bn şekilde karşı - laştjrılan değişik ayrıt saptama yöntemleriyle ilişkileri ortaya çıkarılmaya çalışıl maktadır. Ele alınan yöntemler, ayrıt saptamayı süzgeçleme kullanarak gerçekleş tiren uyarlanır düzleme (adaptive smoothing) [1] yöntemi ile, bunu yırtılabilir zar (weak membrane) [2] modeliyle gerçekleştiren en azlarna yöntemidir. Ayrıt sapta mada karşılaşılan problemlerin görülebileceği yapay resimler üretilmiş (dama tah tası ve çubuklar), bu resimlere gürültü eklenmiş ve her iki algoritmanın başarımı bu resimler üzerinde incelenmiştir. Algoritmaların ayrıt saptama başanmlarınııı karşılaştırılmasında görsel değerlendirmenin yanısıra, FoM, P(IE/AE), P(AE/IE) [4] gibi sayısal ölçütler de kullanılmıştır. Bunun yanısıra her iki yöntem gerçek re simler üzerinde de denenmiş, sonuçlar görsel olarak yorumlanmıştır. Elde edilen sonuçlardan, karşılaştırılan iki yöntemden yırtılabilir zar yönteminin, uyarlanır düzlemeye göre, ayrıt saptama açısından daha iyi sonuçlar verdiği gözlenmiştir. Üçüncü bölümde, resmin bulanıklaşma nedeninin bilinmesi halinde, bulanık resmin netleştirilerek onarılması problemi ele alınmaktadır [5]. Odaklama hata larından kaynaklanan bulanıklaşmanın ve bunun üzerine eklenen gürültünün or tadan kaldırılarak, net ve gürültüsüz resmin elde edilmesi amaçlanmaktadır, üüz- günleştirme yaklaşımı yardımıyla yüzey kurarak netleşmiş resim elde edilmeye çalışılmaktadır. Düzenlemede, yırtılabilir zar (weak membrane) modelinden or taya, çıkan dışbükey enerji fonksiyonelinin, aşamalı dışbükeylik (Graduated Non- Convexity) algoritmasıyla çözümü gerçeklennıektedir. Bulanıklık giderilmesi amacıyla değiştirilmiş zara ilişkin değiştirilmiş enerji fonksiyoneli E = EE((/*6).-.i-*.i)2+ (r>) » i * E B/U - U-xS)\^ ~ mij) + {fij ~ fij-ı)2(l - lij) + * i şeklinde ifa.de edilmektedir. Burada, d bozuk resim, / netleştirilmiş resim, b bu- lanıklastırma, süzgeci, m ve l çizgi işlevleri. A ve a da, yırtılabilir zara, ilişkin parametrelerdir. Netleşmiş resim, E fonksiyonelinin en azlanması sonucunda, elde edilmektedir. Böylece resimdeki süreksizlik noktalarının korumııa.sının yanısıra,, bııla.uıkla.şmış olan süreksizliklerin de ortaya, çıkarılması sağlanmaya, çalışılmıştır. Yöntem, ortalama, alan süzgeçle bulanıklaştırılan ve üzerine gürültü eklenen ya pay ve gerçek resimler üzerinde uygulanmıştır. Elde edilen onarılmış resimlerde süreksizliklerin baskınla.şfırılmasıyla bulanıklığın ortadan kalktığı gözlenmiştir. Dördüncü bölümde, düzgünleşfirme teorisine dayanan bir görüntü kodlama algoritması tanıtılmaktadır. Tanıtılan kodlama algoritması kayıplı bir kodlama yöntemidir. Bu yaklaşımda kodlama bölümü, yırtılabilir zar modelinden ortaya xv çıkan dışbükey enerji fonksiyonelinin en aza. indirilmesine dayanmaktadır. Kod çözme aşamasında ise ayrıtlar dışında kurulan zar modellemesinden ortaya çıkan içbükey enerji fonksiyonelinin en aza. indirilerek, seyrek veriden yüzey kurma, yöntemi kullanıl maktadır. Bu bölümde iki aşamalı bir kodlama yöntemi tanıtılmaktadır. Birinci aşama da süreksizlikleri bulmak için yırtılabilir zar yöntemi kullanılarak çizgi işlevleri (line processes) bulunmakta, ikinci bölümde ise bu çizgi işlevlerinin mantıksal değerler almasından yola çıkılarak seyirtim uzunluğu (run-length) yöntemiyle kod- la.nma.kta.dir. Kod çözme için gerekli olan süreksizlik etrafındaki veriler de entropi kodlamasıyla kodla.nmakta.dir. Kod çözücü bölümde ise öncelikle çizgi işlevleriyle süreksizlik noktalarının yerleri tespit edilmektedir. Daha sonra yerleri bulunan kodlanmış verilerin kodları çözülerek yerlerine yerleştirilmiştir. Bundan sonra. yırtılmış zar modeli kulla.nıla.rak parça parça sürekli bir enerji fonksiyonelinin en aza indirilmesiyle yüzey kurularak resim elde edilmiştir. Parça parça sürekliliğin burada, kullanılması, süreksizlik olmayan yerlerde zar moclellemesinin kullanılması şeklinde ortaya, çıkmakta, bu tür bölgeler içindeki zarın enerji fonksiyoneli içbükey özellik gösterdiğinden, en aza indirilmesinde zorluk olmamaktadır. Burada tanıtılan kodlama yöntemi sonucunda, çizgi işlevleri ve bunlarla, belir lenen süreksizlik noktaları etrafındaki benek değerleriyle kodlanan resmin, boyut olarak giriş resminden küçük olması, söz konusu yöntemin resim sıkıştırma, ama cıyla da kullanılabileceğini ortaya çıkarmaktadır. Bu çalışmada, yöntem gerçek ve yapay resimler üzerinde denenmiş, farklı resimlerdeki değişik sıkıştırma oran ları elde edilmiş ve elde edilen resimlerdeki bozulmalar da nicel ve nitel olarak belirlenmiştir. Elde edilen sıkıştırmada ortalama olarak 5:1 oranında, sıkıştırma elde edilmiştir. Bununla birlikte, ayrıtlar çevresindeki verilerin çok daha etkin biçimde kodlanabileceği görü I inektedir. Beşinci bölümde, Gökmen tarafından tanıtılan düzgünleştirmonin kullanıldığı çok ölçekli bir ayrıt gösterilimi ve çok ölçekli bir ayrıt birleştirme algoritması in celenmektedir [6, 7]. DORS [Difference Of Regularized Solutions) adı verilen ve her seviyesi, farklı düzgünleştirme parametresiyle elde edilen iki düzgünleştirilmiş çözüm arasındaki farkın alınmasıyla ekle edilen gösterilim ele alınmakta,dır. İler bir düzgünleştirilmiş çözüm, zar fonksiyoneliyle ifade edilen bir enerji fonksiyo nelinin en aza indirilmesiyle elde edilmektedir. Bir boyutlu durumda,, DORS gösterilimi, resmin Vietnam şapkası operatörü adı verilen bir süzgeçle katlan malıyla da elde edilmektedir [fi]. Bir boyutta yay fonksiyoneline karşı düşen, Al - 1 ve. A2 =.? ile elde edilmiş iki R-siizgeci, Şekil 2 'de gösterilmiştir. Yay fonksiyoneline karşı düşen iki R-süzgecinin farkının alınmasıyla elde edilen bir boyuttaki DORS süzgeci Şekil 3'de gösterilmektedir. Ayrıtların, bu gösterilimde farklı öîçeklerdeki davranışlarının incelenmesiyle, dalıa önce bir boyutlu durum için geliştirilmiş olan çok ölçekli bir birleştirme al goritması iki boyutlu durum için geliştirilmiştir [6]. Ağırlıklı toplama yönteminin kullanıldığı algoritma, ölçek uzayında karşılaşılan ayrıtların kayması, ortaya çık- xvı Şekil 2. İki R-süzgeci. hl(x) için A = 1, h2(x) için A = 3 olarak alınmıştır. ması, ortadan kaybolması ve dallanması problemlerine çözüm getirmektedir. Zar modellemesiyle elde edilecek çözüm şu şekilde ifade edilmektedir [7]: v{x,y;Xt) = {v(x,y):Em(f,Xi) = )"f //n(/ ~ df dxdy + A, JJn {fi + fi) dxdy} (6) burada / giriş resmi, v modellemcyle elde edilen çözüm, A düzgünleştirme pa rametresi, fx ve fy de giriş resmi /'ııin sırasıyla x ve y'ye göre birinci mertebe türevleridir. Farklı A düzgünleştirme parametreleri ile ekle edilmiş resimlerden DORS gösterilimi DORS(x,y;XiyXj) = v(x,ı/;A,) -v(x,y;Xj), A,- /- A^ (7) şeklinde elde edilmektedir. A^ ve Xj birbirinden farklı iki düzgünleştirme para metresi ve v(x,y,X) de A ile elde edilmiş zar çözümüdür. Şekil 3'cle, bir boyutlu durumda DORS gösteriliminm, resmin Vietnam şapkası operatörü adı verilen bir süzgeçle katlanınasıyla da elde edildiği gösterilmektedir. Bu gösterilimde, ayrıtların farklı ölçeklerdeki davranışlarının incelenmesin den yola çıkılarak, çok ölçekli bir birleştirme algoritması geliştirilmiştir. Birleş tirmede, çok ölçekli ayrıt resimleri giriş olarak kullanılmaktadır. Giriş olarak alman ayrıl, resimleri en kabada.ii en ince ölçeğe doğru sırayla, kullanılmaktadır. Birleştirme en kaba Ölçekten başlamakfa,dır. Kaba ölçekteki her ayrıt noktası xvn Şekil 3. Aı = 1 ve A2 = 3 alınarak elde edilen iki R-süzgecinin kullanılmasıyla elde edilmiş Vietnam şapkası operatörü. için ince ölçekte 3 X 3 genişliğindeki pencere içinde ayrıt noktası aran inaktadır. Ayrıt bulunması halinde, kaba. ölçekteki ayrıt noktası ince ölçekte bulunan nok taya, toplama, dizisi yardımıyla bağlanmaktadır. Her bağlama işlemi, bağlanan noktaya karşı düşen toplama dizisi değerinin uygun şekilde artırılmasıyla gerçek- lenmektedir. Bulunulan ölçeğe göre, ince ölçekte ayrıt bulunmaması durumunda kaba, öl çekteki ayrıt noktası ince ölçeğe doğru devam ettirilebilmektedir. Bunun tersi olarak kaba ölçekte ayrıl olmayan yerlerde, ince ölçekle ayrıl olması durumunda, yeni ayrıt ortaya çıkmasına izin verilebilmektedir. Çiriş olarak alman ayrıt res imleri dizisindeki ardışıl her resim için bu işlem tekrarlanmaktadır. Bütün ayrıt resimleri işlendikten sonra., belli bir değere gelmiş toplama, dizinindeki yerler ayrıt olarak atanmaktadır. Ağırlıklı toplama kullanılmasıyla gerçeklenen birleştirme algoritması, Ölçek uzayında karşılaşılan ayrıtların kayması, ortaya çıkması, ortadan kaybolması ve dallanması problemlerine çözüm getirmektedir. Bu haliyle birleştirme algorit ması, çok ölçekli diğer ayrıt saptayıcılarla elde edilmiş ayrıt resimlerine de uygu lanabilecek durumdadır. Birleştirme algoritmasının başarımı niceliksel ve nitelik sel olarak yapay ve gerçek resimler için çıkartılmıştır. Sonuç olarak bu çalışma içinde, düzgünleştirmedeki yırtılabilir zar modelin den yola çıkılarak görüntü işleme ve bilgisayarla görme alanındaki ayrıt saptama., yüzey kurma, netleştirme, kodlama ve sıkıştırma, çok ölçekli ayrıt ekle etme ve birleştirme problemlerine, aynı yaklaşımlar kullanılarak, çözüm getirilmiştir.

This thesis is mainly concerned with the surface reconstruction, edge de tection, edge integration, restoration, image coding and compression problems of image processing and computer vision. In this thesis, a unified approach based on regulaxization theory has been applied in solving these problems. Some of the edge detection and surface reconstruction methods based on non standard regulaxization by using weak membrane modeling has been investigated and also compared to a convolution based method. In addition to edge detec tion and surface reconstruction, non-standard regulaxization ha,s been expanded to solve problems in image coding and restoration Then a. new inultiscale edge integration method is developed where edges are obtained by another multiscale regul.ariza.tion based edge detection method called DORS. The energy functional related with membrane is modified to reach a, predefined effect such as dcblurring or surface reconstruction from sparse data,, or the edges are used to obtain a form of coding and compression, or multiple reconstructed surfaces arc used for edge detection. In the first chapter, two different approaches to edge defection are qualita tively and quantitatively compared and thus possible relations with the other edge detection algorithms are tried to be figured out. The methods under considera tion are adaptive smoothing which accomplishes detection of edges by nonlinear filtering and weak membrane modeling which is a non-standard regulaxization method. In the second chapter, restoration of an image blurred with a known blurring function is considered. By modifying the energy functional of weak mem brane model, it is aimed to obtain a clear and noise free image by eliminating the blurring effect caused by misfocusing arid the noise added onto this blurred ima,ge. In the third chapter, a regularized approach to image coding is explained. In this approach, both coding part and the decoding part axe based on the regular ized solutions of the weak membrane modeling. In the fourth chapter, a multiscale edge representation using difference of regularized solutions and a, inult.isca.le edge integration scheme using weighted accumulation are presented.