Tek İmgeden Süper-çözünürlüklü Geri-çatma Amacıyla Geliştirilmiş Etkin Yöntemler

Abstract

Kamera duyarga yapılarının oluşturdukları imgeler, pek çok durumda hem imge analizine gerek duyan uygulamalar için hem de insan algılaması için yeterli çözünürlükte değildir. Bu noktada, çözünürlüğün artırılması için donanım ile üretilecek çözümler de yetersiz kalır ve Süper-Çözünürlüklü Geri-Çatma (SÇG) tekniklerinden faydalanılır. SÇG eksik koşullandırılmış ters bir problemdir ve büyük belirsizlik oranlarının kestirimini gerektirir. Bu amaçla, imge modelleri ile ek kısıtlamalar yaratılıp çözüm uzayının mümkün olduğunca düzenlileştirilmesi yoluna gidilir. Tipik bir SÇG çözümünün 3 temel bileşenden oluştuğu söylenebilir: uygulanacak kısıtlar, bu kıstılar ile beraber oluşacak hedef fonksiyonun eniyilenmesinde kullanılacak teknik, ve dışdeğerleme için faydalanılacak veri kaynağı. Kıstılar ve veri kaynağı oluşacak kestiricinin doğruluğu ile daha çok ilgili iken, eniyilemede kullanılacak teknikler de hesaplamadaki basitlik ile büyük oranda ilgilidir. Doğal imge uzayı çoktürel bir yapıya sahiptir ve bu nedenle yerel imge alanları için ayrı ayrı uyarlanabilen işlemlerin kullanımına gereksinim duyar. Ancak, uyarlanmadaki artış hem uygulanacak kısıtların karmaşıklıklarının artması hem de eniyilemenin kat ve kat zorlaşması anlamına gelir. Aradaki bu çelişik ilişkiye rağmen, hemen hemen tüm uygulamalar geri-çatma kalitesi yüksek ve hesaplama maliyeti düşük SÇG yöntemlerini arzular. Kalite ve hesaplama maliyetine ek olarak, ihtiyaçlar ve eldeki olanaklar da (eğitim için yeterince verinin olması, zaman kısıtları ve üzerinde çalışılan imge uzayının büyüklüğü gibi) çözümün pratikliğini etkilerler. Bu tez kapsamında, farklı durumlarda düşük maliyetle yüksek kalitede geri-çatma sağlayabilecek verimli SÇG teknikleri oluşturulmuştur. Önce, kullanılacak kısıtların baştan ayarlanabildiği ve böylece eğitime gerek kalmayan durumlar için, gürbüz istatistik fonksiyonları kullanılarak yinelemeli bir çözüm oluşturulmuştur. Uygulanan kısıtların çoktürel bir davranış sergilemesi amacıyla, etkin bir ayırıcılığa ve hesaplama kolaylıklarına sahip olan Welsch tipi fonksiyonun kullanılması önerilmiştir. Daha sonra, kullanılacak kısıtların baştan ayarlanması yerine, eldeki veriden öğrenilmesi şeklinde bir çözüm oluşturulmuştur. Önerilen bu çözümde, adaptasyonun artırılması amacıyla, geliştirilmiş Koşullu Gauss Tipli Markov Rastgele Alanı temelli bir imge modeli oluşturulmuştur. Seçilen imge modelinin hesaplama avantajları sayesinde, analitik bir geri-çatma ifadesi ile çözüme gidilebilmiştir. Ele alınan diğer bir durumda da, kısıtların öğrenilmesinde kullanılan veriler ile test verisi arasında daha sıkı bir ilişki mevcuttur. Örneğin, kısıtlanmış imge uzaylarında (sadece yüz imgelerinden oluşan uzay gibi) geri-çatma ihtiyacı bu yapıda bir durumdur. İşte bu türden kısıtlanmış imge uzayları için, alt-uzayda tanımlanmış üretken modellere dayanan ve hem şekil hem de doku bileşenlerini kullanan verimli bir yöntem sunulmuştur. Buradaki temel fikir, imge detaylarının doğru hizalanmış yerel imge alanlarının bütünsel modellenmesi ile sentezlenebileceğidir. Hizalamada yeterince doğrululuğa erişebilmek amacıyla, şekil bilgisindeki geri-çatma ayrı bir problem olarak ele alınmış ve doku bileşeninin geri-çatma problemi ile beraber koordineli çözülmüştür. Bu arada, şekil ve doku bileşenleri arasındaki ilinti de çözüme katılmıştır. Ayrıca, geleneksel model-tabanlı yaklaşımlardan farklı olarak, deformasyon operatörünün hizalanmış imgeler için özel olarak ayarlanmış hali çözümde kullanılmıştır. Deformasyon operatörünün hiç düzeltme yapılmadan hizalanmış imgeler ile kullanımı söz konusu olduğunda, en-küçük kareler çözümü ile elde edilen geri-çatmanın yanlı olduğu deneylerle gösterilmiştir. İşte bu problemin üstesinden gelmek amacıyla, hizalama sırasında yapılan işlemler deformasyon operatörüne de uygulanmış ve doku bileşenin geri-çatılmasında bu yeni sürüm kullanılmıştır. Tez boyunca, dışdeğerleme için kullanılacak veri kaynağı seçiminde, bütünsel sürekliliğe sahip daha gerçekçi yapıların kullanılması önerilmiş, böylece yerel modellerin ve örnek sözlüklerinin kullanımlarındaki zorluklardan kaçınılmıştır.

In many cases, the imaging sensors have outputs in poor resolution, which is not sufficient for accurate machine/human perception. At that point, hardware solutions remain incapable of enhancing the resolution at desired levels, and Super-Resolution Reconstruction (SRR) techniques are referred. SRR is an ill-posed inverse problem and requires the estimation of large-scale unknowns. The exact solution is approximated by regularizing the solution space through additional constraints. A typical SRR method consists of three main components: the constraints to be imposed, the optimization technique used to maximize the objective function under these constraints and the trusted data source to be used for extrapolation. Constraints and the data source are mainly related with the accuracy of the resulting estimator, while the optimization technique determines the computational complexity of the method. It is known that the natural image space has a heterogeneous nature and requires adaptive treatment of local image regions. However, growing adaptation means not only an increase in complexity and number of the constraints but also folding in the difficulty of the optimization. Despite this conflicting relation, almost all applications desire an SRR method, which is both computationally simple and highly accurate. In addition to quality and complexity, the needs and the available resources (adequate data for learning, time constraints and the generality of the imaging space) affect the practicality of a solution. This thesis provides efficient single-frame SRR techniques that are computationally simple and provide reconstructions of high-quality for varying scenarios. First, we consider the scenario where the imposed constraints are adjusted manually; hence, no learning is needed. An iterative reconstruction scheme that benefits from robust statistics is proposed. The Welsch norm, having strict edge-stopping utility and computational conveniences, is used for the imposed constraints to exhibit heterogeneous behavior. Later, we consider the case where the constraints are learned from data rather than being set manually. We propose using an enhanced image prior model based on the Gaussian Conditional Random Field (GCRF). The selected GCRF modeling scheme provides significant computational advantages, and the reconstruction can be obtained analytically. In another case we address SRR for the constrained image domains, where the training and test data are strictly correlated. An efficient method is built in subspaces by employing generative models and utilizing shape and texture components together. The main idea here is that the image details can be synthesized by global modeling of accurately aligned local image regions. In order to achieve sufficient accuracy in alignment, shape reconstruction has been considered as an individual problem and solved together with texture reconstruction in a coordinated manner. Meanwhile, the statistical dependency between shape and texture components is also considered. Moreover, different from traditional model-based SRR methods, we employ a corrected form of the degradation operator with the aligned images. It is shown that when the degradation operator is used with the aligned texture components as is, the least-squares solution results in biased reconstructions. To overcome this problem, we reflect the same processing, performed in alignment, onto the degradation operator, and use this corrected version in texture reconstruction. Throughout the thesis, globally consistent structures are utilized as the data source for extrapolation. Thus, the difficulties with the use of local image models and insufficient dictionary schemes are avoided.