Hakem atama otomasyonu için bir karar destek sistemi: Doğal dil işleme ve veri-güdümlü optimizasyon ile bütünleşik bir yaklaşım

Abstract

Bu tez çalışmasında, proje tekliflerinin değerlendirilmesinde görev alacak teklifin içeriğine hâkim, araştırma alanında yetkin ve tecrübeli hakemleri otomatik olarak belirleyen ve tekliflere atayan bir karar destek sistemi sunulmuştur. Geliştirilen sistemin, hakem atama probleminin üç ana aşamasını birlikte ele alan ve bilgi erişimi, doğal dil işleme ve optimizasyon yöntemlerine dayanan bir sistem olması amaçlanmıştır. Bu amaca ulaşmak için tasarlanan sistem üç ana aşamadan oluşmaktadır. Birinci aşamada, farklı kaynaklardan elde edilen bilgilerle proje teklifleri ve hakemlerin profilleri oluşturulmuştur. İkinci aşamada, ilk olarak tekliflerin başlıkları ve özetlerinden ve hakemlerin geçmiş yayınlarının başlıkları ve özetlerinden oluşturulan metin derlemlerine veri önişleme adımları uygulanmıştır. Bu çalışmada, derlemde yer alan farklı dillerdeki metinlerin varlığı göz önünde bulundurularak kelime temsillerinin oluşturulmasında üç farklı strateji uygulanmış ve elde edilen sonuçlar kıyaslanmıştır. Kelime temsili vektörlerinin çıkarımı için geleneksel frekans bazlı kelime temsil yöntemlerinden TF/IDF, statik kelime temsil yöntemlerinden FastText, bağlamsal kelime temsil yöntemlerinden BERT ve T5 ve çok dilli kelime temsil yöntemlerinden mBERT, XLM-R, DistilmBERT ve DistilmUSE kullanılmıştır. Son olarak, her bir teklif-hakem çifti arasındaki içerik benzerliğini değerlendiren benzerlik skoru, metinlerin vektörel temsillerine dayanarak kosinüs benzerlik metriğiyle hesaplanmıştır. Bu çalışmada, hem geliştirilen karar destek sisteminde kullanılan Türkçe için önceden eğitilmiş kelime temsil modellerinin etkinliğini test etmek ve hem de proje değerlendirme sürecine ayrılan zamanı ve işgücünü azaltmak ve değerlendirmenin diğer süreçlerinde yapılacak işleri kolaylaştırmak için tekliflerin otomatik gruplanmasına yönelik bir yaklaşım sunulmuştur. Teklifleri temsil eden vektörleri elde etmek amacıyla Türkçe dili için önceden eğitilmiş FastText ve BERT yöntemleri ile frekans tabanlı temsil yöntemi olan TF/IDF kullanılmıştır. Elde edilen özellik vektörleri yardımıyla proje teklifleri k-means, k-means++, k-medoids ve aglomeratif kümeleme algoritmaları kullanılarak belirli sayıda kümeye bölünmüştür. Ayrıca, K-En Yakın Komşular, Destek Vektör Makineleri, Yapay Sinir Ağları, Sınıflandırma ve Regresyon Ağaçları ve Rassal Orman gibi sınıflandırma algoritmalarıyla hangi teklifin hangi gruba ait olduğunu otomatik olarak tahmin eden bir sınıflandırma modeli önerilmiştir. Sonuçlar, Türkçe için önceden eğitilmiş yöntemlerin metinleri başarılı bir şekilde temsil ettiğini göstermiştir. Ayrıca önerilen otomatik teklif gruplama yönteminin yöneticilerin gerçekleştirmesi gereken ve zaman alan manuel teklif gruplama görevini otomatikleştirmeyi mümkün kıldığı göstermiştir. Ayrıca, ikinci aşamada yetkin hakemler tarafından değerlendirilmesini sağlamak amacıyla her bir hakem için yetkinlik skoru hesaplanmıştır. Hakem yetkinlik skoru, hakemlerin h-indeks değeri, akademik unvanı ve geçmiş proje değerlendirme performansı puanları bir araya getirilerek belirlenmiştir. Bunlara ek olarak ikinci aşamada değerlendirme sürecinin tarafsızlığını ve adaletini etkileyebilecek teklifle hakem arasındaki çıkar çatışması tespit edilmiştir. Üçüncü aşamada ise projelere yetkin hakemler atamak için çok amaçlı tam sayılı doğrusal programlama optimizasyon modelleri sunulmuştur. Temel model olarak adlandırılan optimizasyon modeli ile kümülatif benzerlik skoru ve kümülatif yetkinlik skorunu maksimize etmek amaçlanmıştır. Modelde proje-hakem benzerliği ve hakem yetkinliği iki amaç olarak formüle edilmiştir. Çözümünde ise proje-hakem benzerliğini, hakem yetkinliğinden daha öncelikli olarak ele alınan sözlüksel yöntem kullanılmıştır. Temel modelde proje teklifi talebi, hakem iş yükü, değerlendirme maliyeti, eğitim maliyeti, bir proje teklifi-hakem çifti arasındaki çıkar çatışmasından kaçınmak gibi kısıtlar dikkate alınmıştır. Temel modelde benzerlik skoru ve yetkinlik skorunu maksimize ederken dengeli hakem iş yükü dağılımı da iki farklı yaklaşım ile araştırılmıştır. Bu yaklaşımlardan birinde dengeli iş yükü üçüncü bir amaç olarak amaç fonksiyonunda esnek bir kısıt olarak ele alınırken, diğer yaklaşımda katı bir kısıt olarak modele eklenmiştir. Ayrıca, üçüncü aşamada, hakem atamasında kümülatif skorların maksimizasyonundan çok en kötü durumdaki tekliflerin iyileştirilmesini sağlayacak bir maks-min model formülasyonu ele alınmıştır. Bunun için problem, amaç fonksiyonlarının önem sıralamasını dikkate alan ve maks-min adalet hedefine dayanan sözlüksel maks-min yöntemi ile çözülmüş ve Temel modeldeki en kötü skorlara sahip %20'lik dilimde önemli iyileştirmeler sağlandığı gösterilmiştir. Önerilen karar destek sisteminin performansı, proje tekliflerine hibe desteği sağlayan İstanbul Kalkınma Ajansı'nın 2012-2021 yılları arasında ilan etmiş olduğu teklif çağrılarına sunulan proje teklifi veri kümesi ile test edilmiştir. Deneysel sonuçlar, önerilen yaklaşımın hakem atama problemi için etkili ve verimli bir şekilde uygulanabileceğini göstermektedir. Ayrıca bu çalışma kapsamında geliştirilen karar destek sistemi ile elde edilen hakem atama sonuçlarıyla manuel atama sonuçları kıyaslanmıştır. Sonuçlara göre, otomatik atamanın hem toplam benzerlik skoru hem de toplam yetkinlik skoru açısından manuel atamadan daha iyi sonuçlar verdiği görülmüştür. Önerilen karar destek sistemi; teklif ve hakem profilini oluşturmak, potansiyel hakemler ile teklifler arasındaki benzerlik skorunu hesaplamak, her bir hakem için yetkinlik skorunu hesaplamak, çıkar çatışmalarından kaçınmak, hakem uzmanlığını ve verimliliğini dengelemek ve tekliflere belirli sayıda hakem atamak için kullanılabilir. Geliştirilen sistemin zaman ve maliyet tasarrufu sağlayarak atama sürecinin verimliliğini artırabileceğine inanılmaktadır. Bölgesel kalkınma ajanslarının proje değerlendirme süreci baz alınarak geliştirilen hakem atama sisteminin diğer devlet/özel fon kurumlarının veya araştırma kurumlarının teklif değerlendirme sürecinde benzer kullanım için kolayca uyarlanabileceği ve genişletilebileceği düşünülmektedir. Ayrıca dergiler ve konferanslar için makale seçim sürecinin proje teklifi seçim sürecine benzerliği göz önünde bulundurularak bu çalışmada önerilen karar destek sisteminin, konferans yönetim sistemleri ve dergi değerlendirme sistemlerini hızlandırmak ve geliştirmek için kullanılabileceği düşünülmektedir.