A taxonomy of artificial neural networks

Abstract

In the dissertation, we aimed to analyze the Artificial Neural Networks and research on the taxonomy of it. Also, we viewed effects of three types of Artificial Neural Networks on four different data sets. In the Chapter I, we researched the stochastic and statistical processes which is applied in the machine learning. We introduced the statistical terms and two important types of machine learning that are supervised learning and unsupervised learning. Then, we researched the cross validation which is a statistical method. Researching on the algorithms are used in the machine learning is crucial for understanding the notion of machine learning. In the Chapter II, we studied on basic machine learning algorithms and techniques. The regression and the classification are two important types of supervised learning. We researched the fundamentals of regression and classification, regularization techniques, and other algorithms which are used for supervised and unsupervised learning. The Chapter III is the section that we research on the fundamental structures of the Artificial Neural Networks. We introduced the Computation Graphs, the Perceptron, and the Neural Networks. Also, we researched on the forward propagation, back propagation, batch learning, and stochastic learning. The main section of the thesis is Chapter IV. In this chapter, we viewed the most important types of Artificial Neural Networks which are the Convolutional Neural Networks, the Recurrent Neural Networks, the Hopfield Network, and the Autoencoders. In the Chapter V, we performed experiments on different data sets with three types of Artificial Neural Networks. The data set of Street View House Numbers includes images of house numbers which are photographed by Google Street View. The data set of GTZAN contains the 1000 half-minute music audio files have chosen from ten music genre categories. The data set of EMNIST is a extended type of the MNIST data set. The EMNIST includes the images of handwritten letters and numbers. The last data set is the Apple Stock Prices data set. It contains the data of historical prices of Apple Inc. in daily frequency. The last chapter is conclusion section of the thesis. In this section, we summed the results of experiments with a table. As a consequence of these experiments, we can say that the Convolutional Neural Networks well work on the data sets of SVHN and EMNIST. Also, the results of the experiments show that the Recurrent Neural Networks are suitable for working on the data sets of GTZAN and Apple Stock Prices which have sequential data. Finally, the Autoencoders are not successful as the CNN and the RNN for classification of image data and sequential data.

Bu çalışmada Yapay Sinir Ağları'nın temel yapısı ve taksonomisi üzerine araştırma yapılmıştır. Teorik araştımanın yanısıra üç farklı Sinir Ağları tipi algoritmaları kullanılarak dört farklı veri kümesi üzerinde deneyler yapılmıştır. İlk bölümde Makine Öğrenimi alanında uygulanan istatistiksel ve rassal süreçler araştırılmıştır. Varyans ve sapma gibi istatistiksel terimler incelenmiş ve makine öğreniminin iki önemli tipi olan gözetimli öğrenme ve gözetimsiz öğrenme tanıtılmıştır. Gözetimsiz Öğrenme adı altında sınıflandırma ve kümeleme karşılaştırılmıştır. Sapma ve varyans arasındaki ilişki aşırı öğrenme ve eksik öğrenme açısından incelenmiştir. Ayrıca, veri kümelerinde eğitim ve sınama alt kümelerinin uygun ölçüde ayrılması için kullanılan çapraz geçerlilik ölçütü incelenmiştir. Makine öğreniminde kullanılan algoritmalar makine öğreniminin mantığını gerçek anlamda anlamak açısından çok büyük öneme sahiptir. İkinci bölümde makine öğreniminin algoritmaları ve teknikleri incelenmiştir. Gözetimli öğrenmenin iki önemli çeşidi olan sınıflandırma ve regresyon araştırılmış, bu iki farklı alt alanda kullanılan algoritmalar tanıtılmıştır. Regresyon terimini anlamak sonraki öğrenme sürecini anlamak açısından önemlidir. Çünkü regresyon denklemlerinde kullanılan girdi, çıktı, ağırlık ve sapma terimleri makine öğreniminde kullanılan tekniklerde tezin sonraki bölümlerinde okuyucunun karşısına çıkacaktır. Bu yüzden bu terimlerin ne oldüğu ve regresyon tekniklerinde veriden öğrenme sürecinin nasıl işlediğini anlamak oldukça önemlidir. Bu bölümde regresyon tekniğinde kullanılan algoritmalar ve parametreler detaylı bir biçimde okuyucuya aktarılmıştır. Çoklu doğrusal regresyonun yanısıra Ridge regresyon, Lasso regresyon ve Elastic Net regresyon incelenmiş ve buna bağlı olarak $L^{1}$ ve $L^{2}$ olmak üzere iki düzenleştirme tekniği incelenmiştir. Sınıflandırma için ise Yapısal Regresyon araştırılmıştır. Bu alt bölümde Yapısal Regresyon'da maliyet fonksiyonun doğru bir şekilde anlaşılabilmesi için logit kavramı ve dönüşümleri, sigmoid fonksiyonu detaylıca anlatılmıştır. Sonrasında ise bu bilgiler ışığında maliyet fonksiyonu tanıtılmıştır. Gözetimsiz öğrenmede kullanılan yöntemlerden olan k-means için kullanılan amaç fonksiyonunun nasıl elde edildiği açıklanmıştır. Bu yöntemde doğru \textit{k} değerini seçmek önemlidir. Bu seçme işleminde kullanılan bir yöntem olan \textit{Elbow yöntemi} araştırılmıştır. Diğer bir gözetimsiz öğrenme yöntemi olan \textit{k-NN} de incelenen konular arasındadır. Yapay Sinir Ağları'nda kullanılan Algılayıcı mantığını daha anlaşılabilir kılmak adına Destek Vektör Makineleri detaylı bir biçimde incelenmiştir. Destek Vektör Makineleri'nde kullanılan algoritmanın işleyişinin yanısıra bu alanda kullanılan regresyon ve sınıflandırma teknikleri anlatılmış ve kullanılan algoritmalar araştırılmıştır. Üçüncü bölüm Yapay Sinir Ağları'nın temel yapısının incelendiği kısımdır. Burada, Bilgisayım Çizitleri, Yapay Sinir Ağları'nın ilk formu olan Algılayıcı, Paralel Algılayıcılar, Paralel Algılayıcılar'da kulanılan öğrenme kuralı olan p-delta kuralı, etkilenim fonksiyonları ve Çoklu Katmanlı Sinir Ağları incelenmiştir. Algılayıcı mimarisi Yapay Sinir Ağları'nın temelini oluşturur. Bu yüzden bu bölümde anlatılan temel kavramlar Yapay Sinir Ağları'nda öğrenme sürecinin nasıl gerçekleştiğini anlamak açısından oldukça önemlidir. Algılayıcı mimarisinde tanıtılan girdi katmanı, saklı katman ve çıktı katmanı Yapay Sinir Ağları mimarisinin en önemli birimleridir. Bu alt bölümde katmanların sahip olduğu fonksiyonlar ve burada kullanılan algoritmaların öğrenme sürecinde nasıl işlendiği okuyucuya açık bir şekilde anlatılmıştır. Sinir Ağları'nda veriden öğrenme sürecinin nasıl işlendiği İleri yayılım ve Geri yayılım algoritmaları aracılığıyla tanıtılmıştır. Özellikle Geri yayılım algoritması başta rastgele değerlere sahip ağırlık parametrelerinin güncellenmesi sürecini açıklayan önemli bir algoritmadır. Bu algoritma matematiksel açıdan detaylıca incelenmiştir. Ayrıca, Rastgele Öğrenme ve Toplu Öğrenme konuları ve bu öğrenme yöntemlerinde kullanılan algoritmaların matematiksel alt yapısı araştırılmıştır. Tezdeki ana kısım dördüncü bölümdür. Bu bölümde Yapay Sinir Ağları'nın en önemli Ağ tipleri incelenmiştir. Bu kısımda incelenen Ağ tipleri Evrişimli Sinir Ağları, Tekrarlı Sinir Ağları, Hopfield Ağ ve Otokodlayıcılardır. Burada, dört farklı Ağ tipinde kullanılan algoritmalar ve söz konusu ağ tiplerinin çeşitli alt mimarileri araştılmıştır. Evrişimli Sinir Ağları farklı boyutlarra sahip girdi verisi için kullanılabilecek bir Ağ yöntemidir. Herhangi bir iki boyutlu verinin makine öğrenimi için işlenmesinde ve bir çıktı elde edilmesinde Evrişimli Sinir Ağları kullanılmaktadır. Bu alt bölümde Evrişimli Sinir Ağları algoritmalarında kullanılan \textit{ortaklama}, \textit{kaydırma}, \textit{piksel ekleme} gibi önemli kavramların ne olduğu ve işleyişe nasıl etkide bulundukları ile ilgili bilgiler verilmiştir. Evrişimli Sinir Ağları'nda dört farklı etkilenim fonksiyonuna sahip katmanlar olan doğrultulmuş doğrusal ünite katmanı(\textit{ReLu}), \textit{sigmoid} katmanı, evrişim katmanı ve ortaklama katmanı ayrı ayrı incelenmiştir. Evrişim katmanında geri yayılım algoritması detaylıca araştırılmıştır. Tekarlı Sinir Ağları düğümler ve düğümler arası bağlantılar temel alınarak oluşturulmuş bir ağ mimarisine sahiptir. Bu mimaride düğüm bağlantılarının yönlendirilmiş bir döngü yaratarak veri işleyişini sürdürdüğünü söyleyebiliriz. Bu veri işleyişi dinamik bir zamansal davranış sergiler. Bu mimaride kullanılan ileri yayılım ve geri yayılım algoritmaları zamana bağlı olan bu davranışa göre oluşturulmuştur. Bu alt bölümde ileri yayılım ve geri yayılım algoritmaları zamana bağlı davranışın veri aracılığıyla nasıl sürdüğü detaylıca incelenmiş ve işleyişin matematiksel arka planı okuyucuya aktarılmıştır. Ayrıca, Tekrarlı Sinir Ağları'nın bir alt mimarisi olan Uzun-kısa Vadeli Bellek de incelenmiştir. Uzun-kısa vadeli bellek mimarisi Tekrarlı Sinir Ağları'nda kullanılan mimariden çok farklı değildir. Ancak, bu alt mimaride zamana bağlı veri işleyişine bağlı olarak saklı katman görevi gören kapılar vardır. Girdi kapısı, unutma kapısı, girdi geçiş kapısı ve çıktı kapısı diye tanımlanan bu saklı birimlerde verinin nasıl işlendiği ve öğrenme sürecinin nasıl gerçekleştiği hakkında bilgi verilmiştir. Bu ağ tipinin öğrenme sürecinde kullanılan ileri yayılım ve geri yayılım algoritmaları matematiksel arka planı göz önüne alınarak detaylıca açıklanmıştır. Beşinci bölümde üç farklı Ağ tipindeki algoritmalar kullanılarak dört farklı veri kümesi üzerinde deneyler yapılmıştır. Yani her bir sinir ağı çeşidi her bir veri kümesi üzerinde çalıştırılmış ve sonuçlar analiz edilmiştir. "Street View House Numbers" veri kümesi Google Street View tarafından çekilen ev numaralarını içermektedir. "GTZAN" veri kümesi yarım dakika uzunluğunda 1000 adet müzik dosyası içerir. Bu müzikler 10 farklı müzik türündedir. "EMNIST" veri kümesi "MNIST" veri kümesinin genişletilmiş halidir. Elle yazılmış numaraların yanısıra harflerin de görüntülerini içermektedir. Son veri kümesi "Apple Stock Prices" ise Apple şirketinin günlük hisselerinin verilerini içermektedir. Dört veri kümesi üzerinde üç ağ tipi kodlanarak toplamda 12 deney yapılmıştır. Deneylerde Python programlama dilinden ve bu dil aracılığıyla kullanılan Keras kütüphanesinden faydalanılmıştır. Her bir deney sonucunda elde edilen kesinlik ve hata verileri tablo aracılığıyla verilmiştir. Kesinlik ve hata verilerinin doğrulanması için her bir deney üç defa yapılmış ve sonuçlar tabloda ifade edilmiştir. Ayrıca her bir deney sonucu elde edilen sonuç grafikleri de sunulmuştur. Son bölüm tezin sonuç kısmıdır. Bu bölümde bir önceki bölümde yapılan deneyler ve bu deneylerin sonuçlarını özetleyen bir tablo hazırlanmıştır. Bu tablodan yola çıkarak tezde yapılan deneylerin sonuçları yorumlanmıştır. Bu deneyler sonucunda Evrişimli Sinir Ağları'nın görüntü verilerini içeren "EMNIST" ve "SVHN" veri kümeleri üzerinde çok iyi çalıştığı söylenebilir. Tekrarlı Sinir Ağları ise ardışık veriye sahip "GTZAN" veri kümesi ve zamana bağlı ardışık veri içeren "Apple Stock Prices" veri kümesi üzerinde başarılı sonuçlar vermektedir. Son olarak Otokodlayıcılar ise söz konusu veri kümeleri üzerinde Evrişimli Sinir Ağları ve Tekrarlı Sinir Ağları kadar başarılı sonuçlar verememiştir.