FBE- Bilgisayar Mühendisliği Lisansüstü Programı

Bu topluluk için Kalıcı Uri

http://hdl.handle.net/11527/10
Bilgisayar Mühendisliği Ana Bilim Dalı altında bir lisansüstü programı olup, yüksek lisans ve doktora düzeyinde eğitim vermektedir. Lisansüstü eğitiminde uzmanlık alanları: Bilgisayar Ağları, Yapay Zeka, Doğal Dil İşleme, Paralel ve Dağıtık Sistemler.

Gözat

Konu "Active Learning" ile FBE- Bilgisayar Mühendisliği Lisansüstü Programı'a göz atma
  • Öge
    Çoklu Örnekli Görüntü Sınıflandırması İçin Sözlük Topluluğu Tabanlı Aktif Öğrenme
    (Fen Bilimleri Enstitüsü, 2016-06-29) Koçyiğit, Gökhan ; Yaslan, Yusuf ; 10115600 ; Bilgisayar Mühendisliği ; Computer Engineering
    Makine öğrenmesi, öğrenilecek verinin geçmiş bilgisini kullanarak modelleyen ve daha sonrasında elde edilecek yeni veriler için karar veren yöntemler bütünüdür. Günümüzde teknolojinin gelişimi ile birlikte çok büyük miktarda veri üretilmekte ve buna bağlı olarak makine öğrenmesi ile bu veriler ve bunlara bağlı problemlerin çözümü için çok çok sayıda çalışma ve araştırma yapılmaktadır. Bu çözümlerin temelinde, öğreneceğimiz verinin modellenmesi yatmaktadır. Veriler genellikle öznitelik vektörleri ve onunla ilişkilendirilmiş sınıf etiketleri ile gösterilmektedir. Fakat bazı problemlerde bir veri birden fazla öznitelik vektörüne sahip olabilir. Böyle bir durumda modelleme işleminin birden fazla özellik vektörü ile yapılması gerekir ve bu modelleme tekniğine Çoklu Örnek Öğrenme denilmektedir. Çoklu Örnek Öğrenme, başlangıçta ilaç molekül aktivitelerinin yapısını öğrenebilmek için ortaya atılmış olsa da, son zamanlarda metin sınıflandırma, görüntü çağrılması vb. gibi çok farklı makine öğrenmesi problemlerine de uygulanmaktadır. Temelde, bir veriye ait birden fazla öznitelik vektörleri bulunmaktadır ve her bir özellik vektörüne örnek, veriye ait bütün örneklerin birleşimine de torba denilmektedir. Çoklu Örnek Öğrenme sisteminde verilerin sınıf etiketlerinin bilgisi torbayla ilişkilendirilmiş olup örneklerin etiket bilgisi bulunmayabilir. İkili sınıflandırma problemi ele alınırsa, torba içerisindeki en az bir örnek eğer pozitif ise torbanın tamamı pozitif olarak sınıflandırılmaktadır. Eğer bütün örnekler negatif ise, torbanın sınıfı negatif olmaktadır. Çoklu Örnek Öğrenme için önerilmiş algoritmaları üç sınıfta incelemek mümkündür. Bunlardan birincisi örnek uzayını kullanan yöntemler olarak nitelendirilmektedir. Örnek uzayında sınıflandırıcılar sadece örnekler üzerinde çalıştırılmaktadır. Bu tip yöntemlerdeki genel mantık, pozitif özellikli örneklerin negatif özellikli örnekler ile ayrışmasını sağlayarak yeni gelecek verilerdeki örneklerin sınıflandırmasıdır. Fakat örnek uzaydaki sınıflandırıcılar torbayı tamamen ele alıp öğrenme yapmadıkları için torbanın genel yapısını öğrenemezler. Ayrıca, bazı uygulamalarda torbaya ait her bir örneğin sınıf bilgisi bulunmadığından örnekler üzerinden öğrenme işlemi yapılamamaktadır. Bu problemleri ortadan kaldırmak için torba uzayında sınıflandırıcı öğrenen yöntemler önerilmiştir. Torba uzayında çalışan sınıflandırıcılar her bir örneği teker teker değerlendirmeyip torbayı bir bütün olarak değerlendirmektir. Bu tekniklerde genelde dikkat edilecek husus, torba verisinin vektörel olmayan yapısıdır. Bu şekildeki yapıların sınıflandırıcı tarafından öğrenilmesi için iki torbayı karşılaştıran bir fonksiyon gereklidir. Bu fonksiyon dolaylı olarak iki torbayı karşılaştırıp sonuç vermektedir. Fakat torbanın vektörel olmayan yapısı nedeniyle, geliştirilen yöntemlerin karmaşıklığı normal sınıflandırıcılara göre yüksek ve daha zaman alıcıdır. Bununla birlikte, öğrenilmeye çalışılan eniyileme fonksiyonunun konveks olmaması nedeniyle yerel minimum problemi yaşanabilmektedir. Bu problemleri aşmak için üçüncü bir teknik olarak, gömülü uzayda öğrenen sınıflandırıcılar önerilmiştir. Bu sınıflandırıcılardaki temel mantık, veri tabanındaki her bir torbanın örnekleri bir fonksiyon yardımıyla doğrudan tek bir öznitelik vektörüne dönüştürülerek, elde edilen torba vektöründen makine öğrenmesinde kullanılan bilindik yöntemlerle öğrenmesini sağlamaktır. Gömülü uzaydaki yöntemin başarısı torbaların torba vektörüne dönüşümünde kullanılan fonksiyonun seçimine bağlıdır. Dönüşüm işlemini kolaylaştırmak ve verinin örüntüsünü ortaya çıkarmak için kullanılan yöntemlerden birisi seyrek kodlamadır. Seyrek kodlama, sinyal işleme ve görüntü işleme toplulukları tarafından son zamanlarda çokça kullanılan bir yöntemdir. Bunun nedeni, seyrek kodlanacak verinin, sözlük denilen ve veriyi temsil eden temel matrisin içerisindeki temel vektörlerin çok azının doğrusal katışımıyla elde edilebilmesinden dolayıdır. Bu gösterimin faydası, veri için üst düzey bir gösterim sağlayarak verinin örüntüsünü ortaya çıkarmaktadır. Seyrek kodlama için önceden belirlenmiş temel matrisler kullanılmakla birlikte son zamanlarda yapılan çalışmalar ile temel matrisin veriden öğrenilmesinin daha iyi sonuç verdiği görülmüştür. Seyrek kodlama işlemindeki temel matrise sözlük denilmekte ve bu temel matris çıkarım işlemine ise sözlük öğrenimi denilmektedir. İnternetin yaygınlaşmasıyla birlikte büyük verilere erişim çok kolaylaşmıştır. Fakat, büyük verilerin makine öğrenmesi tekniklerinde kullanılabilmesi için her bir verinin sınıf etiketinin belirlenmesi gereklidir. Bu işlem bazı uygulamalar için çok zaman alıcı veya pahalı bir işlem olabilmektedir. Bunun yerine, etiketsiz veri tabanından akıllıca seçim yapılarak sadece seçilenlerin etiketlerinin elde edilmesi gerçeklenebilir. Literatürde bu tekniğe aktif öğrenme denilmektedir. Aktif öğrenme sisteminde, sınıflandırıcı etiketsiz verilerden kendisine en fazla bilgiyi verecek olanları seçerek sınıf bilgisinin öğrenilmesi için bir uzmana danışır. Uzmanın verdiği sınıf bilgisi ile birlikte bu veri öğrenme verisine eklenir ve sınıflandırıcı yeni veri ile birlikte güncellenir. Bu işlem önceden belirlenmiş bir yineleme sayısı kadar tekrar eder. Öğrenme verisinin en son hali ile de son sınıflandırıcı öğrenilir. Son zamanlarda, çoklu örnek öğrenme ve aktif öğrenme sistemleri birleştirilerek çoklu örnekli aktif öğrenme metotları geliştirilmiştir. Bu metotlar çoklu öğrenmenin hangi uzayda yapıldığına göre değişim göstermektedir. Bu yüzden çoklu örnekli aktif öğrenme metotları torba uzayında ve örnek uzayında yapılabilmektedir. Fakat bildiğimiz kadarıyla gömülü uzayda çalışan çoklu örnekli aktif öğrenme metodu üzerine çalışma yapılmamıştır. Bu tezde, seyrek kodlama ve sınıflandırıcı topluluğu tekniklerini kullanan çoklu örnekli aktif öğrenme metodu, DEMIAL algoritması önerilmiştir. Önerilen DEMIAL algoritması genel olarak 5 farklı adımdan oluşmaktadır. Öncelikle, öğrenme verisi kullanılarak birbirlerinden farklı boyutlardan oluşan farklı sözlükler öğrenilmektedir. Bunun amacı, farklı boyutlarda öğrenilen sözlükler ile sınıflandırıcı topluluğu oluşturulup, topluluk içerisindeki çeşitliliği sağlamaktır. Daha sonra elde edilen sözlükler ile seyrek kodlama yapılarak torba içerisindeki örneklerin seyrek gösterimleri elde edilir. Seyrek kodlama örneklere üst düzeyde bir gösterim sağladığı için kullanılmıştır. Daha sonra torbaya ait örneklerin seyrek gösterimleri, birleştirilerek her bir torbanın öznitelik vektörü oluşturulur. Kullanılan birleştirme fonksiyonu örneklerin seyrek gösterimlerini özetleyen bir fonksiyon olup, örneklerin tamamını temsil eder. Öğrenme aşamasında ise torba özellik vektörleri kullanılarak makine öğrenmesinde kullanılan sınıflandırıcılardan birisi kullanılır. Bu aşamaya kadar yapılan işlemler Eğiticili Çoklu Örnek Öğrenme adımlarıdır. Önerilen DEMIAL algoritmasının aktif öğrenme aşamasında, etiketsiz verilerin seyrek kodlaması yapılır ve her bir veri tek bir torba vektörüne dönüştürülür. Daha sonra etiketsiz veri üzerinde torba vektörü kullanılarak sınıflandırıcılardan sınıf bilgisi öğrenilir. Sınıflandırıcı topluluğunun kararı ile en yararlı veri seçilir ve uzmana sorularak sınıf bilgisi alınıp öğrenme verisine eklenir. Bu işlem belirli bir tekrarlama ile devam eder ve en sonunda son kez öğrenme verisinden sınıflandırıcı öğrenilir. Deneysel sonuçlar 5 farklı Çoklu Örnek Öğrenme problemi içeren görüntü sınıflandırma veri kümelerinde elde edilmiştir. Öncelikle Eğiticili Çoklu Örnek Öğrenme algoritması olan SCCE-MIL yöntemi, farklı boyutlardaki sınıflandırıcı toplulukları ve farklı baz sınıflandırıcılar kullanılarak incelenmiştir. Daha sonra önerilen DEMIAL algoritması çekirdek tabanlı çoklu örnekli aktif öğrenme algoritmasıyla farklı aktif öğrenme sorgu yöntemleri ile karşılaştırılmıştır. Ayrıca baz sınıflandırıcıların DEMIAL algoritmasının başarımına olan etkileri de incelenmiştir. Deneysel sonuçlarda önerilen DEMIAL algoritmasının daha iyi sınıflandırma başarımına sahip olduğu görülmüştür.
  • Öge
    Veri Sınıflandırma İçin Aktif Öğrenme Çerçevesi İle Birleştirilmiş Ayrık Kodlama Tabanlı Sınıflandırıcı Toplulukları
    (Fen Bilimleri Enstitüsü, 2016-06-24) Tüysüzoğlu, Göksu ; Yaslan, Yusuf ; 10113977 ; Bilgisayar Mühendisliği ; Computer Engineering
    Günümüzde metin sınıflandırma, görüntü kategorizasyonu, ses ve müzik türü sınıflandırması gibi makine öğrenmesi konusunda farklı disiplinlerden pek çok alanda sınıflandırma algoritmalarına olan ihtiyaç bir hayli artmıştır. Bu amaçla yeni sınıflandırıcı modeller geliştirilmekte ve mevcut algoritmaları da iyileştirme çalışmaları çoğalarak devam etmektedir. Sinyalleri ya da elimizde bulunan her bir problem örneğini bir sözlüğün temel elemanlarının ayrık doğrusal kombinasyonları olarak temsil etmekte olan sözlük öğrenme algoritmasından da bu doğrultuda veri sınıflandırma ve kümeleme alanlarında çokça faydalanılmakta olup sinyal, görüntü, ses ve video işleme uygulamalarında kullanılmaktadır. İki aşamada gerçekleştirilen sözlük öğrenmesi modelinde ayrık kodlama ve sözlük güncelleme adımları uygulanmakta ve belirli bir yakınsama elde edene kadar bu süreç iteratif olarak devam etmektedir. Ana amaç, yeniden yapılandırma hatasını azaltarak en çok ayrık gösterimi veren sözlük yapısını elde etmektir. Birçok sınıflandırıcının modellendiği ve her birinden gelen kararların birleştirilerek tek bir çıktı ürettiği süreç topluluk öğrenme olarak bilinir. Literatürde makine öğrenmesi uygulamalarının çoğunda sınıflandırıcı topluluklar tek sınıflandırıcı yöntemlerinden daha iyi başarım gösterebilmektedir. Topluluk öğrenme algoritmaları hem örnek hem de öznitelik alt uzaylarında uygulanabilmektedir. Random subspace algoritması öznitelik uzayında ve bagging algoritması da örnek uzayında en çok uygulanan topluluk öğrenme yöntemlerindendir. Öte yandan veriye erişimin kolaylaşması ile birlikte çok büyük miktarda etiketsiz veriye erişim imkânı doğmuştur. Bu tür problemler için sunulan aktif öğrenme, etiketi bilinmeyen veriler içerisinden en çok bilgi verici örnekleri seçip uzmanlar tarafından etiketleyerek eğitim kümesi içine katan bir öğrenme yöntemidir. Aktif öğrenme yapısının kurulması aşamasında etiketsiz verilerin değerlendirilip içlerinden en bilgi verici olanlarının nasıl seçileceği önemli bir sorudur. En kolay yollardan biri, örnekleri sorgulayarak sınıflandırıcı modelin sınıf etiketi konusunda en az emin olduğu sinyallerin seçilmesidir ve bu yöntem belirsizlik örnekleme (uncertainty sampling) olarak bilinir. Belirsizlik örnekleme teknikleri içinde en popüler olanlarından biri düzensizlik hesabını temel alır. Bir dağılımda ne kadar fazla düzensizlik varsa, o veri için sınıf etiketi seçimi de o derecede kararsızlık içerir ve sorgulama da o kadar bilgi verici olur. Bu çalışmanın ilk aşamasında sözlük öğrenme modeli, sınıflandırıcı topluluklarından random subspace feature selection ile öznitelik alt uzayında ve bagging ile örnek alt uzayında birleştirilerek uygulanmış ve bu sınıflandırıcılar Random Subspace Dictionary Learning (RDL) ve Bagging Dictionary Learning (BDL) olarak xxii adlandırılmıştır. Deneysel sonuçlarda önerilen yöntemlerin sınıflandırma başarımları en iyi sınıflandırıcı yöntemlerden biri olan destek vektör makinesi (Support Vector Machines - SVM) ve topluluk öğrenme tabanlı kombinasyonları (Random Subspace Support Vector Machines (RSVM) ve Bagging Support Vector Machines (BSVM)) ile birlikte karşılaştırılmıştır. UCI makine öğrenmesi veri havuzundan ve OpenML' den alınan çeşitli alanlardan on bir farklı veri kümesi üzerinde elde edilen on kat çapraz sağlama deney sonuçlarına göre sözlük öğrenme tabanlı sınıflandırıcı toplulukları, özellikle de BDL algoritması, hem destek vektör makineleri hem de sınıflandırıcı topluluklarıyla birleştirilmiş modellerine göre daha başarılı sonuçlar ortaya koymuştur. Sınıflandırma başarımlarına bakıldığında, en başarılı yöntem olan BDL 11 veri kümesinin 4 tanesinde DL, RDL SVM, BSVM ve RSVM sınıflandırıcılarından üstün gelmekte, 2 tanesinde ise DL ve RDL ile en sonuçları elde etmektedir. Bu noktada örnek altuzaylarının rastgele seçilmesiyle oluşturulan sözlük modellerinin sınıflandırma başarımına olan pozitif etkisi gözlemlenmiştir. İkinci aşamada ise uygulanan yöntemlerin her biri aktif öğrenme yapısı içerisinde kullanılmış, elde bulunan her bir sınıf için bir sözlük öğrenilerek, her iterasyonda en bilgi verici etiketsiz örnekleri etiketleyerek eğitim kümesine ekleme işlemi uygulanmıştır. Test aşamasında her yeni örnek için sınıf etiketi sözlük topluluklarının çoğunluğuna bakılarak atanmıştır. İlk aşamada eldeki eğitim kümesinin %20'si alınarak hem sözlük tabanlı hem de destek vektör makinesi tabanlı sınıflandırıcı toplulukları modellenmiş, sonraki altı iterasyonda geriye kalan etiketsiz veriler içerisindeki en çok bilgi verici %10 örneğin düzensizlik hesabı dikkate alınarak seçilmesiyle eğitim kümesi güncellenmiştir. Böylelikle iterasyon sayısı arttıkça sınıflandırma başarımı da çoğunlukla artışa geçmiş, örneklerin akıllıca seçilmesiyle oluşturulan eğitim kümesi bu sonuçlarda etkili olmuştur. Test sonuçlarında her bir veri kümesi için elde edilen en başarılı sonuçlar dikkate alınırsa, rastgele öznitelik seçimiyle oluşturulan sınıflandırıcı topluluklarına bakıldığında önerilen ARDL yönteminin ARSVM yönteminden daha başarılı olduğu görülmüştür. Örneklerin rastgele seçilmesiyle oluşturulan sınıflandırıcı toplulukları kullanıldığında ise ABSVM yöntemi ABDL yönteminden daha üstün gelmiştir. Deney sonuçlarının elde edilmesinden sonra ilgilenilmesi gereken önemli bir nokta da uygulanan yöntemlerin sınıflandırma başarımları açısından birbirine denkliğini öne süren hipotezlerin anlamlılığının ölçülmesidir. Bu doğrultuda, Friedman test ve Wilcoxon signed rank test sonuçlarına bakılmıştır. Friedman anlamlılık testinden gelen çıktılara göre aktif öğrenme altında iterasyon bazında uygulanan metotlar için en iyi sonuçlar dikkate alındığında görülen odur ki sıfır hipotezi (H0) kabul edilmemelidir, başka bir deyişle uygulanan yöntemler gösterdikleri performans açısından eşdeğer değildirler. Aktif öğrenme algoritmalarının son iterasyonlarında elde edilen başarımlar için de Friedman ve Wilcoxon signed rank testleri uygulanmıştır. Her iki test sonucunda da model çiftlerinin eş sınıflandırma performansları sundukları kanısına varılmıştır. Öte yandan pasif öğrenme kısmında uygulanan yöntemler de Friedman testiyle incelendiğinde eşdeğer oldukları görülmüştür. Bunun ardından, hangi metot çiftlerinin kendi aralarında denk performans sunup sunmadıkları sorusuna çözüm bulmak amacıyla Wilcoxon signed rank test uygulanmıştır. Sonuçlara göre DL/RDL, xxiii DL/BDL ve SVM/BSVM metot çiftleri sınıflandırma performansı olarak eşdeğer değildirler, diğer yöntemler ise denk sayılabilir.