Çoklu Örnekli Görüntü Sınıflandırması İçin Sözlük Topluluğu Tabanlı Aktif Öğrenme

Abstract

Makine öğrenmesi, öğrenilecek verinin geçmiş bilgisini kullanarak modelleyen ve daha sonrasında elde edilecek yeni veriler için karar veren yöntemler bütünüdür. Günümüzde teknolojinin gelişimi ile birlikte çok büyük miktarda veri üretilmekte ve buna bağlı olarak makine öğrenmesi ile bu veriler ve bunlara bağlı problemlerin çözümü için çok çok sayıda çalışma ve araştırma yapılmaktadır. Bu çözümlerin temelinde, öğreneceğimiz verinin modellenmesi yatmaktadır. Veriler genellikle öznitelik vektörleri ve onunla ilişkilendirilmiş sınıf etiketleri ile gösterilmektedir. Fakat bazı problemlerde bir veri birden fazla öznitelik vektörüne sahip olabilir. Böyle bir durumda modelleme işleminin birden fazla özellik vektörü ile yapılması gerekir ve bu modelleme tekniğine Çoklu Örnek Öğrenme denilmektedir. Çoklu Örnek Öğrenme, başlangıçta ilaç molekül aktivitelerinin yapısını öğrenebilmek için ortaya atılmış olsa da, son zamanlarda metin sınıflandırma, görüntü çağrılması vb. gibi çok farklı makine öğrenmesi problemlerine de uygulanmaktadır. Temelde, bir veriye ait birden fazla öznitelik vektörleri bulunmaktadır ve her bir özellik vektörüne örnek, veriye ait bütün örneklerin birleşimine de torba denilmektedir. Çoklu Örnek Öğrenme sisteminde verilerin sınıf etiketlerinin bilgisi torbayla ilişkilendirilmiş olup örneklerin etiket bilgisi bulunmayabilir. İkili sınıflandırma problemi ele alınırsa, torba içerisindeki en az bir örnek eğer pozitif ise torbanın tamamı pozitif olarak sınıflandırılmaktadır. Eğer bütün örnekler negatif ise, torbanın sınıfı negatif olmaktadır. Çoklu Örnek Öğrenme için önerilmiş algoritmaları üç sınıfta incelemek mümkündür. Bunlardan birincisi örnek uzayını kullanan yöntemler olarak nitelendirilmektedir. Örnek uzayında sınıflandırıcılar sadece örnekler üzerinde çalıştırılmaktadır. Bu tip yöntemlerdeki genel mantık, pozitif özellikli örneklerin negatif özellikli örnekler ile ayrışmasını sağlayarak yeni gelecek verilerdeki örneklerin sınıflandırmasıdır. Fakat örnek uzaydaki sınıflandırıcılar torbayı tamamen ele alıp öğrenme yapmadıkları için torbanın genel yapısını öğrenemezler. Ayrıca, bazı uygulamalarda torbaya ait her bir örneğin sınıf bilgisi bulunmadığından örnekler üzerinden öğrenme işlemi yapılamamaktadır. Bu problemleri ortadan kaldırmak için torba uzayında sınıflandırıcı öğrenen yöntemler önerilmiştir. Torba uzayında çalışan sınıflandırıcılar her bir örneği teker teker değerlendirmeyip torbayı bir bütün olarak değerlendirmektir. Bu tekniklerde genelde dikkat edilecek husus, torba verisinin vektörel olmayan yapısıdır. Bu şekildeki yapıların sınıflandırıcı tarafından öğrenilmesi için iki torbayı karşılaştıran bir fonksiyon gereklidir. Bu fonksiyon dolaylı olarak iki torbayı karşılaştırıp sonuç vermektedir. Fakat torbanın vektörel olmayan yapısı nedeniyle, geliştirilen yöntemlerin karmaşıklığı normal sınıflandırıcılara göre yüksek ve daha zaman alıcıdır. Bununla birlikte, öğrenilmeye çalışılan eniyileme fonksiyonunun konveks olmaması nedeniyle yerel minimum problemi yaşanabilmektedir. Bu problemleri aşmak için üçüncü bir teknik olarak, gömülü uzayda öğrenen sınıflandırıcılar önerilmiştir. Bu sınıflandırıcılardaki temel mantık, veri tabanındaki her bir torbanın örnekleri bir fonksiyon yardımıyla doğrudan tek bir öznitelik vektörüne dönüştürülerek, elde edilen torba vektöründen makine öğrenmesinde kullanılan bilindik yöntemlerle öğrenmesini sağlamaktır. Gömülü uzaydaki yöntemin başarısı torbaların torba vektörüne dönüşümünde kullanılan fonksiyonun seçimine bağlıdır. Dönüşüm işlemini kolaylaştırmak ve verinin örüntüsünü ortaya çıkarmak için kullanılan yöntemlerden birisi seyrek kodlamadır. Seyrek kodlama, sinyal işleme ve görüntü işleme toplulukları tarafından son zamanlarda çokça kullanılan bir yöntemdir. Bunun nedeni, seyrek kodlanacak verinin, sözlük denilen ve veriyi temsil eden temel matrisin içerisindeki temel vektörlerin çok azının doğrusal katışımıyla elde edilebilmesinden dolayıdır. Bu gösterimin faydası, veri için üst düzey bir gösterim sağlayarak verinin örüntüsünü ortaya çıkarmaktadır. Seyrek kodlama için önceden belirlenmiş temel matrisler kullanılmakla birlikte son zamanlarda yapılan çalışmalar ile temel matrisin veriden öğrenilmesinin daha iyi sonuç verdiği görülmüştür. Seyrek kodlama işlemindeki temel matrise sözlük denilmekte ve bu temel matris çıkarım işlemine ise sözlük öğrenimi denilmektedir. İnternetin yaygınlaşmasıyla birlikte büyük verilere erişim çok kolaylaşmıştır. Fakat, büyük verilerin makine öğrenmesi tekniklerinde kullanılabilmesi için her bir verinin sınıf etiketinin belirlenmesi gereklidir. Bu işlem bazı uygulamalar için çok zaman alıcı veya pahalı bir işlem olabilmektedir. Bunun yerine, etiketsiz veri tabanından akıllıca seçim yapılarak sadece seçilenlerin etiketlerinin elde edilmesi gerçeklenebilir. Literatürde bu tekniğe aktif öğrenme denilmektedir. Aktif öğrenme sisteminde, sınıflandırıcı etiketsiz verilerden kendisine en fazla bilgiyi verecek olanları seçerek sınıf bilgisinin öğrenilmesi için bir uzmana danışır. Uzmanın verdiği sınıf bilgisi ile birlikte bu veri öğrenme verisine eklenir ve sınıflandırıcı yeni veri ile birlikte güncellenir. Bu işlem önceden belirlenmiş bir yineleme sayısı kadar tekrar eder. Öğrenme verisinin en son hali ile de son sınıflandırıcı öğrenilir. Son zamanlarda, çoklu örnek öğrenme ve aktif öğrenme sistemleri birleştirilerek çoklu örnekli aktif öğrenme metotları geliştirilmiştir. Bu metotlar çoklu öğrenmenin hangi uzayda yapıldığına göre değişim göstermektedir. Bu yüzden çoklu örnekli aktif öğrenme metotları torba uzayında ve örnek uzayında yapılabilmektedir. Fakat bildiğimiz kadarıyla gömülü uzayda çalışan çoklu örnekli aktif öğrenme metodu üzerine çalışma yapılmamıştır. Bu tezde, seyrek kodlama ve sınıflandırıcı topluluğu tekniklerini kullanan çoklu örnekli aktif öğrenme metodu, DEMIAL algoritması önerilmiştir. Önerilen DEMIAL algoritması genel olarak 5 farklı adımdan oluşmaktadır. Öncelikle, öğrenme verisi kullanılarak birbirlerinden farklı boyutlardan oluşan farklı sözlükler öğrenilmektedir. Bunun amacı, farklı boyutlarda öğrenilen sözlükler ile sınıflandırıcı topluluğu oluşturulup, topluluk içerisindeki çeşitliliği sağlamaktır. Daha sonra elde edilen sözlükler ile seyrek kodlama yapılarak torba içerisindeki örneklerin seyrek gösterimleri elde edilir. Seyrek kodlama örneklere üst düzeyde bir gösterim sağladığı için kullanılmıştır. Daha sonra torbaya ait örneklerin seyrek gösterimleri, birleştirilerek her bir torbanın öznitelik vektörü oluşturulur. Kullanılan birleştirme fonksiyonu örneklerin seyrek gösterimlerini özetleyen bir fonksiyon olup, örneklerin tamamını temsil eder. Öğrenme aşamasında ise torba özellik vektörleri kullanılarak makine öğrenmesinde kullanılan sınıflandırıcılardan birisi kullanılır. Bu aşamaya kadar yapılan işlemler Eğiticili Çoklu Örnek Öğrenme adımlarıdır. Önerilen DEMIAL algoritmasının aktif öğrenme aşamasında, etiketsiz verilerin seyrek kodlaması yapılır ve her bir veri tek bir torba vektörüne dönüştürülür. Daha sonra etiketsiz veri üzerinde torba vektörü kullanılarak sınıflandırıcılardan sınıf bilgisi öğrenilir. Sınıflandırıcı topluluğunun kararı ile en yararlı veri seçilir ve uzmana sorularak sınıf bilgisi alınıp öğrenme verisine eklenir. Bu işlem belirli bir tekrarlama ile devam eder ve en sonunda son kez öğrenme verisinden sınıflandırıcı öğrenilir. Deneysel sonuçlar 5 farklı Çoklu Örnek Öğrenme problemi içeren görüntü sınıflandırma veri kümelerinde elde edilmiştir. Öncelikle Eğiticili Çoklu Örnek Öğrenme algoritması olan SCCE-MIL yöntemi, farklı boyutlardaki sınıflandırıcı toplulukları ve farklı baz sınıflandırıcılar kullanılarak incelenmiştir. Daha sonra önerilen DEMIAL algoritması çekirdek tabanlı çoklu örnekli aktif öğrenme algoritmasıyla farklı aktif öğrenme sorgu yöntemleri ile karşılaştırılmıştır. Ayrıca baz sınıflandırıcıların DEMIAL algoritmasının başarımına olan etkileri de incelenmiştir. Deneysel sonuçlarda önerilen DEMIAL algoritmasının daha iyi sınıflandırma başarımına sahip olduğu görülmüştür.

In a machine learning problem, each data sample is represented with a feature vector and associated with class information. As an extended version of this approach, in a Multiple Instance Learning (MIL) problem, each data sample consist of a set of feature vectors which may represents the part of the whole entity. Lately, MIL framework draws a lot of attention due to its suitability to the real-world problems e.g. image categorization. In that sense, with the popularity of the internet, it is easy to acquire large collection of data. Using large quantity of data in a MIL setting requires labeling process for each data sample which is a laborious task to accomplish. To overcome this problem, active learning can be used. Active learning is an iterative framework which selects best representative data samples to be labeled by an oracle. In the literature there are several approaches that combine the MIL framework with active learning. Recently sparse coding techniques which approximate a given signal by combining few redundant basis vectors have been applied to MIL framework. In this thesis, we developed an MI active learning method that corporates with sparse coding and classifier ensemble technique called DEMIAL (Dictionary Ensemble based MI Active Learning). The proposed DEMIAL algorithm constructs the classifier ensembles on the sparse feature sets that are obtained from multiple sized dictionaries. The experimental results are obtained on 5 different popular image categorization MIL datasets. Initially we obtained supervised learning results on these datasets with using different base classifiers and ensemble sizes. Then the DEMIAL algorithm is compared with kernel based MI active learning method using two different active learning selection strategies. The effect of the base classifiers and active learning strategies are also considered for DEMIAL algorithm. It is shown that the proposed DEMIAL algorithm performs better than the kernel-based MI active learning method.