Uçtan uca derin öğrenme yaklaşımlarıyla Türkçe eşgönderge çözümlemesi

Abstract

Eşgönderge Çözümlemesi (EÇ), bir doküman içinde yer alan, aynı gerçek dünya varlığının (ör. bir kişi, yer veya olay) temsili olan sözcükler (ifade) arasındaki göndergesel ilişkinin çözümlenmesidir. Doğal Dil İşleme (DDİ) alanının anlamsal katmanında önemli bir görev olarak yer alan EÇ, metnin bağlamını derinlemesine çözümleyerek, dokümanın doğru bir şekilde anlaşılmasına ve istenen bilgilerin doğru bir şekilde çıkarılmasına yardımcı olmaktadır. Bu görevde, aralarında ilişki çözümlemesi yapılacak sözcük veya sözcük öbekleri bir ifade olarak tanımlanır. Uçtan uca bir EÇ sistemi, iki aşamadan oluşur: 1) İfade Saptama, 2) İlişki Çözümleme. İfade saptama aşamasında, dokümandaki tüm göndergesel ifadeler tespit edilir. Sonrasında, bu ifadeler arasındaki ilişkiler çözümlenerek aynı gerçek dünya varlığını temsil eden ifadeler aynı ifade kümesi altında birleştirilir. Türkçe, biçim bilimsel açıdan oldukça zengin ve zamir düşürme özelliğine sahip bir dildir. Bu özellikleri, Türkçe metinlerde bazı zamirlerin metin içerisinde açıkça yer almamasına olanak tanımaktadır. Dolayısıyla, Türkçe için geliştirilen kapsamlı bir EÇ sisteminin, düşürülen zamirleri de birer ifade olarak ele alıp bu zamirlerin ilişki çözümlemesini yapması, Türkçe yazılmış bir metnin anlam bütünlüğünün doğru anlaşılabilmesi için son derece önemlidir. Düşen zamirlere ilişkin bilgiler, cümledeki başka bir sözcüğün biçim bilimsel katmanında yer almaktadır. Bu durum, sözcüklerin yalnızca orijinal formlarının değil, aynı zamanda biçim birim düzeyinde de incelenmesini zorunlu kılmaktadır; dolayısıyla, Türkçe EÇ problemi diğer dillere kıyasla daha karmaşık bir hale gelmektedir. EÇ literatüründe yer alan çalışmalar incelendiğinde, çalışmaların çoğunun İngilizce üzerinde gerçekleştirildiği görülmektedir. Dil bilimsel açıdan Türkçeye benzeyen diller üzerinde yapılan EÇ çalışmaların ise son yıllarda başladığı görülmektedir. Yukarıda belirtilen Türkçenin dil bilimsel yapısından kaynaklanan biçim birim düzeyinde eşgönderge çözümlemesi gerekliliği, İngilizce için geliştirilmiş sistemlerin Türkçe için doğrudan uygulanmasına olanak tanımamaktadır. Bu tez çalışmasının hedefi, Türkçenin dil bilimsel özelliklerini göz önünde bulunduran ve yapay sinir ağları yöntemlerinden faydalanan, uçtan uca ilk Türkçe EÇ modelini gerçekleştirmektir. Bu doğrultuda: 1) Türkçenin yapısı, düşürülen zamirler açısından incelenmiş ve bu bilgiler için EÇ görevine özgü bir etiketleme şeması önerilmiş ve düşürülmüş zamirlerin bu şema ile göndergesel ifadeler olarak etiketlendiği güncel bir Türkçe EÇ veri kümesi sunulmuş, 2) Derin öğrenme yöntemlerinden faydalanan, farklı EÇ yaklaşımları ile geliştirilmiş Türkçe EÇ modelleri geliştirilerek, modellerin başarımları karşılaştırılmış, 3) Önerilen Türkçe EÇ veri kümesinin, çok dilli EÇ çalışmalarında kullanılabilmesi için ilgili veri kümesi koleksiyonlarında yer almasına yönelik çalışmalar tamamlanmış, 4) Türkçeyi de kapsamına alan çok dilli EÇ modelleri geliştirilerek, modellerin başarımları karşılaştırılmış, 5) Sonuç olarak, kod çözücü mimarisine sahip büyük dil modellerinden faydalanan, talimatlı tabanlı eğitilen, çok dilli EÇ modellerinin Türkçe EÇ üzerinde en iyi performansı gösterdiği ortaya konmuştur. Ek olarak, çok dilli modeller üzerinde yapılan iyileştirmeler ile özellikle dil bilimsel açından Türkçeye benzeren başka dillerdeki EÇ performanslarında da artışlar gözlemlenmiştir. Tez çalışmasında, mevcut etiketli Türkçe EÇ veri kümesi iyileştirilmiş ve düşürülmüş zamirlerin göndergesel ilişkileri etiketlenerek literatürdeki en güncel Türkçe EÇ veri kümesi oluşturulmuştur. Türkçenin EÇ başarımına, farklı eşgönderge çözümlemesi yaklaşımlarıyla (ifade çifti, ifade sıralama, uçtan uca) geliştirilen yapay sinir ağları tabanlı modellerin etkisi incelenmiştir. Veri kümesinin kalitesi ve düşürülmüş zamir etiketlemelerinin Türkçe EÇ modellerinin başarısına etkisi araştırılmıştır. Ayrıca, derin öğrenme yöntemleriyle geliştirilen Türkçe EÇ modellerinde çizge sinir ağları katmanlarının kullanımı ve bunun performansa etkisi de incelenmiştir. Türkçe üzerinde eğitilen tek dilli modeller, çok dilli olarak genişletilerek diller arası transferin Türkçe EÇ başarımına etkisi değerlendirilmiştir. Bu aşamada, Türkçe ve diğer dillerdeki EÇ başarımlarının, dillerin birbirlerinden öğrendikleri bilgilerle nasıl etkilendiği incelenmiştir. Türkçenin biçim bilimsel zenginliği nedeniyle, dil bilimsel bilgilerin EÇ modellerinde öznitelik olarak kullanılmasının etkisi, Türkçe ve benzer dillerdeki çok dilli EÇ veri kümesi üzerinde araştırılmıştır. Son olarak, kod çözücü mimarisi ve talimat tabanlı yöntemle geliştirilen çok dilli EÇ modelinin Türkçe ve diğer dillerdeki başarımları incelenmiştir. Sonuçlar, derin öğrenme yöntemlerinin Türkçe EÇ başarımını artırdığını göstermektedir. Kaliteli verilerle eğitilen Türkçe EÇ modelleri daha iyi sonuçlar elde etmiştir. Ayrıca, düşürülmüş zamirlerin etiketlenmesi ve bu ifadeler üzerinde eğitim yapılması, genel EÇ başarımını olumlu etkilemiştir. Çizge sinir ağlarının Türkçe EÇ performansını iyileştireceği hipotezi doğrulanamamıştır. Çok dilli modeller geliştirerek, diller arası transferin Türkçe EÇ başarımına olan olumlu etkileri gösterilmiştir. Türkçe ve benzer dil bilimsel özelliklere sahip dillerin EÇ performanslarında, açıkça belirtilen biçimsel özniteliklerin kullanılmasının olumlu etkisi gözlemlenmiştir. Son olarak, talimat tabanlı eğitimle geliştirilen çok dilli Türkçe EÇ modeli ile büyük dil modellerinin gücünden faydalanarak hem Türkçe hem de çok dilli EÇ performanslarında iyileşme sağlanmıştır.