Adaptive shape from shading

Abstract

Bilgisayar görünün (Computer Vision) temel amaçlarından biri, objelerin iki boyutlu görüntülerinden, onların üç boyutlu yüzey özelliklerinin elde edil mesidir. Görüntü alma sırasında üç boyutlu objelerin iki boyutlu izdüşümleri elde edilmekte ve bu izdüşüm sırasında objeye ilişkin özelliklerden bir çoğu yitirilmektedir. Üçüncü boyuta ilişkin bilgileri elde etmek amacıyla, genellikle görüntüyü oluşturan benek (pixel) değerleri ile obje yüzeyi arasındaki ilişki kul lanılır ve bulunabilecek bir çok olası çözümü teke indirmek için, çözüm uzayı üzerinde bir takım sınırlamalar (constraints) konur. Görüntüdeki tonlamaların obje şekilleri hakkında taşıdığı bilgiler kullanılarak, obje şeklini bulmak için geliştirilen ve genellikle Tondan Şekil Bulma-TŞB (Shape from Shading-SFS) problemi olarak bilinen bu yaklaşımda, önce görüntü ile obje yüzeyleri ve ışık kaynakları arasındaki ilişki elde edilmekte ve daha sonra giriş resmine olabildi ğince yakın bir görüntü verecek obje yüzeyi, yani objenin şekli, belirlenmektedir [1, 2]. Tondan- şekil-bulma problemlerinde, obje yüzeyi ve ışık kaynağı ile görün tüyü oluşturan benek değerleri arasındaki ilişki Yansıtma Haritası (Reflectance Map) R(p, q) ile belirlenir. Burada, p ve q yüzey parametreleridir ve kurulacak z yüzeyinin kısmi türevlerini göstermek üzere dz dz P = Yx Ve q=dy (1) şeklinde ifade edilmektedir. Işık kaynağından gelen ışınların yüzey tarafından nasıl yansıtılacağı, o yü zeyin yansıtma özelliklerine bağlıdır. Değişik yüzeylerdeki ışık yansımalarını ifade etmek amacıyla çeşitli modeller geliştirilmiştir. Bu modellerin, teorik olarak en basiti ve pratikte olarak en çok kullanılanı Lambertian yansıtma mo delidir. Lambertian bir yüzeyin özelliği, üzerine gelen tüm ışığı yansıtması ve xııı yüzey parlaklığının bakış doğrultularından bağımsız olmasıdır. Lambertian bir yüzey için yansıtma haritası ", x cos 0 and \0ıd > Xmin,. new[X,y)~\ \oid(x,y) otherwise { J ile hasaplanır. Burada kullanılan T{x, y, \0td) fonksiyonu aşağıdaki gibi tanım lanmıştır: ^(^y,AoH) = (l-e"^)Aro,-n + (e"evr )Xold(x,y). (12) Bu fonksiyondaki c(x,y), kontrol işaretidir ve absÇ) mutlak değeri göstermek üzere, c(x,y) = abs(I(x,y) - R(p,q)yden hesaplanır. Vp, üstel fonksiyonun düşme hızını kontrol eden bir zaman sabitidir. Amîn ise, önceden belirlenen ve A'nın alabileceği en küçük değeri gösteren bir sabittir. A'nın yeni değerlerinin hesaplanması için kullanılan F(x,y,\0id) fonksiyonu, üstel olarak azalan bir fonksiyondur ve lim F{x,y,X0ıd) = X0ıd(x,y) ve lim F(x,y, Xotd) = Xmin (13) c(x,y)->0 c(x,y)-*oo özelliklerine sahiptir. (9)'daki enerji fonksiyonelini enaza indirme problemi çö zülerek, uyarlanır TŞB yöntemi için ardışıl çözüm yöntemi elde edilmiş ve de neysel sonuçların bulunmasında kullanılmıştır. Bu bölümde ayrıca, uyarlanır düzleme yönteminin FSŞB problemine uyar lanması konusunda da çalışılmıştır. Bu amaçla XV111 F(p, q, z) = F[(p, q) + F'2(p, q) + fx F3(p, q,z) + fi F4(p, q) (14) enerji fonksiyoneli kullanılmıştır. Burada F3 ve F4 terimleri surasıyla integralin alınabilmesi sınırlaması ve türev farkları smırlamasıdır. F2 fonksiyonu (10) 'da verildiği gibidir ve Fx ise Fi(p, q) = JJi(H*> y) - r(p> ?))2 + (H*> y) - R(p, ?))2) dx dy (is) olarak tanımlanmıştır. Buradaki I(x, y) ve İ(x, y), bakış doğrultulan aynı fakat aydınlanma doğrultuları farklı iki görüntüyü göstermekte, R(p, q) ve R(p, q) ise bu iki görüntüye karşı gelen yansıtma haritalarını ifade etmektedir. (14) 'deki enerji fonksiyonelini enaza indirme problemi çözülerek, uyarlanır TŞB ve FSŞB yöntemlerinin birleşiminden oluşan ardışıl sayısal çözüm yöntemi geliştirilmiş ve bu yöntem kullanılarak deneysel sonuçlar elde edilmiştir. Beşinci bölümdeki deneysel sonuçlardan görülmüştür ki, uyarlanır düzle me yönteminin kullanılması, uyarlanır olmayan TŞB yönteminden elde edilen yüzeylerdeki istenmeyen düzlenme etkisini ortadan kaldırmış ve daha başarılı sonuçlar bulunmasını sağlamıştır. Uyarlanır TŞB yöntemi ile fotometrik stereo tekniğinin birleştirilmesi ve elde edilen sayısal TŞB çözüm yönteminin kulla nılmasının, sonuçların kalitesini artırmak ve hataları azalmak açısından etkili olduğu deneysel olarak gösterilmiştir.

Shape recovery is a classic problem in computer vision. The goal in shape recovery is to extract surface orientation and surface depth from one or more images. Shape-from-shading (SFS) deals with the recovery of 3-Dimensional shape from a single shaded image. Shape-from-photometric-stereo is another method for shape recovery used in computer vision. In this technique, shape is recovered by using multiple input images of the same scene generated fixed viewing direction and different light source directions. The shape-from-shading problem is addressed in this study. All the con straints used in SFS are combined in an iterative scheme and the effects of these constraints on the solution are explored. Then, a shape-from-shading algorithm based on the regularization theory is developed, in which the smoothness is con trolled spatially over the image space. The spatial control of the smoothness is achieved by employing additional knowledge about the difference between the image which is obtained from the regularized solution and the input image. The adaptive nature of the algorithm eliminates the selection of the optimum value of the smoothness parameter. Using calculus of variations and a linear approximation of the reflectance map, the new adaptive iterative scheme is developed. The new algorithm is robust, data driven and updates both the gradient field and height maps simultaneously. A hierarchical implementation of our adaptive SFS algorithm is also presented. In order to improve the quality of the reconstruction obtained by the SFS algorithm, we integrated our adap tive SFS approach and photometric stereo technique to recover shape by using more than one input image.