Görüntü sınıflandırması için yapay sinir ağlarının analiz ve optimizasyonu

Abstract

İnsan beyninin problem çözme, anımsama, sentez yapma ve bilgi kazanımı gibi güçlü yetenekleri, farklı bilimlerden birçok bilim adamını bu işlevleri modellendirebilmek için esin kaynağı olmuştur. Yapay sinir ağları, beynin karmaşık işlemlerini basit bir şekilde benzeştiren (taklit eden) model formları olarak düşünülebilir. Bu teknikler tıp, iş dünyası, bilgisayar vb. birçok alanda geliştirilmekte ve kullanılmaktadır. Uzaktan algılamada ise bu teknikler, arazi- örtü sınıflandırması, jeolojik haritalama, bulut- örtüsü sınıflandırması ve çeşitli kaynaklardan elde edilen verilerin sınıflandırması gibi çok çeşitli sınıflandırma problemlerinde kullanılmaktadır. Yapay sinir ağı tekniklerinin gücü şu özgün niteliklerinden kaynaklanmaktadır; parametrik olmayan yapısı, istenilen biçimde karar sınırları oluşturabilme yeteneği, farklı veri türlerine uyum yeteneği ve sınıflandırma kalitesini arttırabilecek bulanık (fuzzy) sonuç değerleri. Son yıllarda yeryüzü çevresinin değerlendirilmesi ve sınıflandırılması gittikçe artan bir şekilde önem kazanmıştır. Uzaktan algılama verileri bu tür değerlendirmeler için temel verileri sağlar. Uydu algılayıcılarının nesnelerin çeşitli spektral (yansıma) değerlerini ayırt edebilme yeteneği nedeniyle, uydu görüntüleri sınıflandırma için mükemmel bir araçtır. Sinir ağlarının uzaktan algılamadaki kullanımı görece yenidir. Buna rağmen geçen son birkaç yılda yayınlanan uygulama sayısında artış görülmektedir. Uygulamaların çoğunda geri-yayılma (backpropagation) algoritması ile çalıştırılan "çok-tabakalı algılayıcı sinir ağı" (multilayer perceptron neural network) kullanılmıştır. Son araştırmalar sinir ağlarının uzaktan algılamada bir sınıflandırma yöntemi olarak kullanıldığında etkin olabileceğini göstermiştir. Multispectral görüntülerin sınıflandırılmasında sinir ağlarının uygulamaları hızla artmakadır. Bunun nedeni şu özelliklerinden kaynaklanmaktadır: i-) standart sınıflandırma yöntemlerine ilginç bir alternatif oluşturan "öğrenme" yeteneği, ii-) olasılık modeli ile ilgili hiçbir varsayım yapmaması, iii-) özellik uzayında yüksek dereceden lineer olmayan "karar sınırları" oluşturma yeteneği. Uzaktan algılanmış görüntülerden arazi kullanım haritalarının elde edilmesi, öncelikle sınıflandırma işlemine bağlıdır. Geçen on yılda, uzaktan algılama verileri için, ileri sınıflandırma algoritmalarının (istatistiksel, bilgi-tabanlı, sinir ağı ve hibrid yöntemler) geliştirilmesi için çok çaba harcanmıştır. Uzaktan algılama verilerinin sayısal analizi için en çok kullanılan yöntem kontrollü sınıflandırmadır. Bu yöntem bir görüntü içindeki piksellere, uygun algoritmalar kullanılarak, arazideki özel örtü sınıflarını temsil eden etiket bilgilerinin atanması IX esasına dayanır. Bu algoritmalar arasında "en çok benzerlik sınıflandırma yöntemi" şu anda en çok kullanılan ve bilinen yöntem olup diğer sınıflandırma yöntemleriyle karşılaştırıldığında standart bir sınıflandırma rutini haline gelmiştir. Bu yöntem, olasılık yoğunluk fonksiyonunun öncel olarak varsayılmak zorunda olduğu parametrik sınıflandırma yöntemine dahildir. Eğer gerçek olasılık yoğunluk fonksiyonu, model tarafından varsayılan fonksiyondan farklı ise, düşük bir "en çok benzerlik sınıflandırma" doğruluğu elde edilebilir. Son yıllarda araştırmacılar standart parametrik sınıflandırma tekniklerinin bu olumsuzluğunu gidermek için; parametrik - olmayan sınıflandırma yöntemleri geliştirmeye çalışmaktadırlar ve Yapay Sinir Ağları, uydu görüntülerinin güvenli sınıflandırılması için uygun bir yöntem olarak kabul edilmektedir. Sinir ağları yöntemi en çok benzerlik yöntemine göre, verilerin istatistiği üzerinde herhangi bir varsayım yapmadığı için potansiyel bir üstünlüğe sahiptir. Sinir Ağları; giriş verileri üzerinde tahmin edici bir işleve sahip olması ve "öğrenebilmesi" nedeniyle bir yapay zeka türünü oluşturur, öğrenme işlemini benzeştiren çok sayıda yapay zeka modeli için birçok algoritma geliştirilmiştir. Bunlar çok basit matematik modellerden, binlerce değişkenin kullanıldığı son derece karmaşık modellere kadar bir diziyi kapsar. Tanım olarak sinir ağlan; karmaşık transfer problemlerinin çözümü için, birlikte işleyen-birbiriyle bağlantılı, lineer olmayan basit hesaplama birimleri (nöron)nden oluşmaktadır. Günümüzde en çok kullanılan sinir ağı sınıflandırma yöntemi çok tabakalı algılayıcı sinir ağı (multilayer perceptron network : MLP) olup geniş biçimde analiz edilmiş ve birçok öğrenme algoritmaları geliştirilmiştir. MLP, kontrollü sinir ağı türüne aittir. MLP sinir ağı normal olarak geriyayılma (backpropagation) algoritması ile çalıştırılır. Sınıflandırma problemlerinin çözümünde farklı mimarilere (giriş nöronların sayısı, gizli tabakalar, çıkış nöronların sayısı, hedeflenen sonuç, etkinlik fonksiyonları.v.b. ) sahip geri yayılma algoritması cesaretlendirici sonuçlar göstermiştir. Sinir ağı yönteminin temel handikapı, ağın çalıştırılması (train) için çok fazla zaman gerektirmesidir, ancak; uygun bir öğrenme parametresi kullanılarak gereken zaman azaltılabilir, işlem zamanının fazlalığına rağmen, multispectral sınıflandırma için yapay sinir ağlarının, standart sınıflandırma daha doğru olduğu görülmüştür. Uzaktan algılamada yapay sinir ağlarının birçok ilginç kullanımı olmuştur, bunun nedeni; görüntü sınıflandırmasında sinir ağlarının; uzaktan algılama ile diğer yardımcı arazi bilgilerinin integrasyonuna olanak tanımasıdır. En çok benzerlik ve enyakın komşuluk sınıflandırma yöntemi gibi klasik sınıflandırma yöntemleri, yalnızca uydu görüntü band bilgilerine uygulanabilmektedir. Sinir ağları; uydu spektral verileri, yardımcı arazi kullanım bilgileri (eğim, görünüm, yükseklik v.b.) ve arazi sınıfları arasındaki lineer ve lineer olmayan bağlantıları sağlamaktadır. Bir yapay sinir ağının başarılı biçimde tasarımı; ağın uygun çalıştırılması kadar doğruluk özeliklerinin belirlenebilmesine de bağlıdır. Bu tezin temel amaçlarından birisi, belirlenen doğrulukta sinir ağlarının etkin ve hızlı bir şekilde çalıştırılması için bir yöntem geliştirmektir. Bu amaçla, çalıştırılan sinir ağlarının kullanıcı- tanımlı doğruluk derecesinde olmasını garanti edecek şekilde, istatistik örnekleme teorisine dayalı bir algoritma geliştirilecektir. Algoritmada ele alınan yaklaşım, doğruluk tahmininde güven aralıklarının kurulmasında "binom denemeler kavramı" ndan yararlanmaktır. Algoritmanın uygulanması için "Yapay Sinir Ağlarında Güven Tahmini" adında bir yazılım geliştirilmiştir. Yazılım yardımıyla binom teoremi kullanılarak, sinir ağları belirlenen doğruluk derecesinde ve güven düzeyinde çalıştırılabilecektir. Çok- tabakalı sinir ağları (MLP) genellikle geriyayılma algoritması ile çalıştırılır, fakat bu algoritmanın bazı dezavantajları vardır. Bu algoritma yerine, optimizasyon problemini çözmek için Levenberg- Marquardt yönteminin kullanılmasına karar verilmiştir. Bu amaçla, bir algoritma (ve yazılımı: HYSA) tasarlanmıştır. Etkin ve hızlı çalıştırma için, Levenberg- Marquardt optimizasyon yönteminin bir varyasyonu geliştirilmiştir. Bu yöntemin önemli bazı avantajları; hızlı oluşu, yerel minimuma yakınsama garantisi, sayısal kesinliği ve en az sayıda kulama- tanımlı giriş değeri gerektirmesidir. Bu üstünlükler, uygulaması ve kullanımı kolay olması düşünülen bir yazılım aracı (tool) için önemli özelliklerdir. Yazılım yalnızca ileri- itilimli çok tabakalı sinir ağları için tasarlanmıştır. Tez içinde geliştirilen yazılımlar kullanılarak, multispektral görüntü sınıflandırmasında sinir ağı teknikleri standart sınıflandırma teknikleri ile karşılaştırılmıştır. Bu çalışmanın temel amaçları : i-) klasik ve sinir ağı sınıflandırma yöntemleriyle elde edilen sonuçları karşılaştırmak, ii-) yeni algoritma yardımıyla farklı sinir ağı mimarilerinin performansını incelemek, iii-) geliştirilen yeni güven tahmin yöntemini gerçekleştirmek, iv-) görüntü sınıflandırması için yapay sinir ağlarını analiz etmek. Sonuç olarak yapay sinir ağı teknolojileri; uzaktan algılama görüntülerinin sınıflandırılması için klasik yöntemlere iyi ve etkin bir alternatif olarak düşünülebilir. Başka bir deyişle, sinir ağları; model sınıflandırma çalışmalarının farklı türlerine yenilikler getiren bir araç olarak değerlendirilmelidir.

The powerful capabilities for knowledge acquisition, recall, synthesis, and problem solving of the human brain have inspired scientists from different disciplines to attempt to model its operations. Artificial Neural Networks (ANN) can be thought of as forms of models imitating the complicated brain processing in a very simple way. These techniques have been developed and used in a wide range of fields including medicine, business and computer processing. In remote sensing, they have been used for various classification problems such as land- cover classification, geological mapping, multisource data classification and cloud- cover classification. The power of artificial neural network techniques rests in their unique advantages, including; non- parametric nature, arbitrary decision boundary capabilities, easy adaptation to different types of data and input structures and fuzzy output values that can enhance classification. Over the past several years, increasing emphasis has been placed on the classification and assessment of the earth's environment. Remotely sensed data, such as satellite imagery, provides the basic data for making such assessments. Satellite imagery provides an excellent tool for classification because of the ability of satellite sensors to differentiate between the various spectra of objects. Each object has unique spectral reflectance properties, making identification and correlation possible. The use of neural networks in remote sensing is relatively new. However during the last few years the number of reported applications has been steadily increasing. The majority of applications have used the multi-layer perceptron neural (MLP) network trained with the back-propagation algorithm. The analysis has been carried out on a variety of remotely-sensed data including optical high and low resolution multi-spectral imagery. Recent studies have demonstrated that neural networks can be effective when used as a classifier of remote sensing data. The application of neural networks to the classification of multispectral images is increasingly emerging. This is due to the following characteristics: i-) their ability of learning provides an interesting alternative to the standard classification methods, ii-) they make no assumptions about the probabilistic model to be made, iii-) they are capable of forming highly non-linear decision boundaries in the feature space. The derivation of land cover maps from remotely-sensed images depends primarily on the classification process in which a mapping is performed from the multispectral image space to the land cover class space. Much effort has been expended in the last decade to develop improved classification algorithms for remotely sensed data using for example statistical, knowledge-based, neural and hybrid or combined methods. XII Supervised classification is the procedure most often used for quantitative analysis of remotely sensed images. It rests upon using suitable algorithms to label the pixels in an image as representing particular ground cover classes. A variety of algorithms is available for this, ranging from those based upon probability distribution models for the classes of interest to those in which the multispectral space is partitioned into class- specific regions using optimally located surfaces. Among these algorithms the maximum likelihood classification is presently the most widely known and utilized, and it is also used as a standard classification routine against which other classification algorithms are compared. Maximum likelihood classification belongs to a parametric classification method where the underlying probability density function must be assumed a priori. We may obtain a poor maximum likelihood classification performance if the true probability density function is different from that assumed by the model. In recent years, researchers have tried to provide non-parametric classification methods to overcome this disadvantage of the standard (parametric) classification techniques, and Artificial Neural Networks have been proposed as a method suitable for the efficient classification of satellite remote sensing images. The neural network method has a potential advantage over maximum-likelihood in that it does not require any assumption about the underlying statistics of the data. Neural networks are a form of artificial intelligence that can learn and be used in a predictive role based on input training data. Many algorithms have been developed for use in artificial intelligence models to simulate the learning process. These range from very simple mathematical models, to extremely complex models using thousands of variables and auto-associative routines. By definition, neural networks are composed of simple non-linear computational units called neurons that are linked together and work cooperatively to solve complex mapping problems. The most widely used neural classifier today is multilayer perceptron network which has also been extensively analysed and for which many learning algorithms have also been developed. The MLP belongs to the class of supervised neural networks. Multilayer perceptrons are normally trained with the backpropagation algorithm. The backpropagation algorithm with different architectures (number of input neurons, hidden layers, number of output neurons, desired output, activation functions etc.) shows encouraging results in solving classification problems. The main drawback to the neural network method is the greatly increased time for the training of the net, which can be reduced, however, with an adaptive learning rate parameter. Despite the increased processing time,the ANN was found to be more accurate than standard techniques (e.g. max. likelihood) for multispectral classification. Neural networks have found many interesting uses in remote sensing because they allow integration of remote sensing and other complementary landuse information in image classification. Classical classifiers, such as maximum likelihood and nearest neighbour classifiers, have been primarily applicable with only satellite image band information. Neural networks allow for linear and non-linear mappings between satellite spectral data, complementary landuse information (e.g. slope, aspect and elevation), and landuse classes. The successful design of an ANN depends on the proper training of the network as well as the ability to characterize the accuracy of its approximation. One of the main object of this thesis is to develop a methodology for efficient and fast training neural networks, with specified accuracy. For an ANN to be useful in classification procedure, there must be a means of quantifying its accuracy. To this end, a training algorithm based on statistical sampling theory, will be developed and presented, which guarantees that the trained networks provide a user- specified degree of accuracy. The approach taken in the algorithm is to follow a binomial xi'n T.C YÜKSEKÖ?RETİM KURU Ui POK0MÂNTASYON MDUUOfl experimentation concept in order to establish confidence intervals on the accuracy of the ANN' s approximation. To implement the algorithm a software has been developed called " Yapay Sinir Ağlarında Güven Tahmini Yazılımı (in Turkish)". With the aid of this software using binomial theorems, the algorithm is to train neural networks with quantified degree of accuracy, given a confidence level. Multilayer perceptron neural networks are normally trained with the backpropagation algorithm but this algorithm has some shortcomings. Instead of using this algorithm, it has been decided to use the so-called Levenberg- Marquardt method for solving the optimization. For this purpose an algorithm and its software called HYSA (Hızlı Yapay Sinir Ağı) has been designed and developed. For fast and efficient training, a variation of Levenberg- Marquardt method is fulfilled. Some important advantages of this method are speed, guaranteed converge to a local minima, numerical robustness and minimal user- specified inputs. Such advantages are important properties in making a user-friendly, easy- to- apply software tool. The software is designed to implement feedforward multilayer perceptrons. By using the softwares developed in this thesis, neural network techniques for multispectral image classification are compared to the standard classification techniques. The main objectives of this work are: i-) to compare the results obtained using conventional and neural classifiers, ii-) to study the performances of several neural network architectures by using the new algorithm, iii-) to implement the new confidence estimation method developed, iv-) to analyze artificial neural networks for image classification. As a conclusion, the neural network technologies may be considered as a good alternative to the conventional methods for classification of remotely sensed images. In other words, neural networks can be seen as a new revolutionary kind of tool for different kinds of pattern recognition tasks.