Türkçe finans alanına özgü bilgi grafı inşası için çok aşamalı bilgi çıkarımı ve denetlenebilir operasyon planlama

Abstract

Finans haberleri şirketlerin yaptıkları yatırımlar açtıkları fabrikalar, genel şirket faaliyetleri ve yönetim değişiklikleri gibi somut olguları hızlı biçimde yansıtan; ancak dili ve bağlamı haberin kaynağına göre sürekli değişen bir metin türüdür. Bu farklı tarzda yazılan metin türlerinden sorgulanabilir ve güncellenebilir bir bilgi grafı inşa etmek ilk bakışta "metinden bilgi çıkarma" problemi gibi görünse de pratikte asıl güçlük çıkartan aday bilginin doğruluğunun sağlanması ve mevcut grafla tutarlı biçimde birleştirilmesidir. Türkçenin eklemeli yapısı, şirket kurum ve kuruluşların adlarının farklı yazımları, kısaltmalar ve borsa kodları nedeniyle aynı varlıklar farklı biçimlerde ifade edilebilmektedir. Bu durum graf üzerinde mükerrer düğüm birikimine sebep olmaktadır. Büyük dil modelleri (LLM) genel cümle bağlamına klasik yöntemlere göre hâkim olduğundan metinden olgu üretim becerisi başarılı olsa da özellikle alan dışı ve genel kavramları çıkarmaya eğilimleri ve ilişkilerde kanıt gücü zayıf ifadeleri kesin bilgi gibi yorumlaması veya şema dışı ilişki üretme eğilimi gösterebilmektedir. Bu nedenle, metinden yalnızca daha fazla bilgi çıkarmak yerine, çıkarılan bilgilerin denetlenebilir bir karar sürecinden geçirerek grafa eklenme yaklaşımı öne çıkmaktadır. Bu çalışmada, Türkçe finans haberlerinden alana özgü ve zaman farkındalığı taşıyan bir bilgi grafı üretmek için iki katmanlı bir yaklaşım benimsenmiştir. Buradaki zaman farkındalığı, yüksek frekanslı finansal metrikleri çıkarmayı hedeflemez; bunun yerine tesislerin faaliyete geçmesi/durması, yönetim rol değişiklikleri ve yatırım kararları gibi daha seyrek ama yapısal değişimleri, geçerlilik süreleriyle birlikte temsil etmeye odaklanır. İlk katmanda çıkarım tek adımda yapılmamış; varlık, ilişki ve öznitelik çıkarımı üç ardışık aşamada ele alınmıştır. Bu tasarımda amaç, modelin her adımda daha dar kapsamlı bir karar vermesini sağlayarak aşırı üretim (over-generation) eğilimini sınırlamak ve ara temsiller üzerinden şema uyumunu daha erken aşamalarda kontrol edebilmektir. İlk katmandaki varlık çıkarımı sonrasında varlık çözümleme aşaması gelmektedir. Bu ara aşamada aday varlıkların kanonik temsillerle eşleştirilmesi için vektör benzerliği temelli bir aday eşleştirme yöntemi kullanılmıştır. Benzerlik puanına göre kademeli bir güvenlik ağı kurgulanmıştır. Yüksek güven aralığında otomatik eşleştirme yapılırken, belirsiz aralıkta daha düşük maliyetli bir küçük dil modeli ile doğrulama tercih edilmiş; düşük güven aralığında ise daha güçlü muhakeme yeteneği gerektirdiği için büyük dil modeli doğrulama tercih edilmiştir. Bu kademeli yapı hem mükerrer düğüm oluşumunu azaltmayı hem de zaman içinde tekrarlayan yüzey biçimlerinin daha hızlı kanonikleştirilmesini hedeflemektedir. İkinci katmanda ise çıkarım çıktılarının doğrudan grafa yazılması yerine, her aday kaydın graf üzerindeki etkisini belirleyecek karar veren bir operasyon planlama katmanı eklenmiştir. Operasyon planlama yalnızca belge metnini değil graf üzerinde aynı olguya dair mevcut bilgileri ve bunların zamansal durumunu da dikkate alarak üç tür eylem üretmektedir. Bu eylemler ekle/güncelle (UPSERT), değişiklik yok (NOOP) ve reddet (REJECT) olarak tanımlanmıştır. Her ret kararı için tanımlanmış gerekçe tipi ve kısa bir açıklama tutulması hem iz sürme hem de daha sonradan yapılacak hata analizleri açısından denetlenebilirliği güçlendirmektedir. Bilgi grafı tasarımında, olguların zaman içindeki değişimini kaybetmemek ve kaynak izlenebilirliğini korumak amacıyla beyan merkezli (assertion-centric) bir model benimsenmiştir. Varlıklar kanonik düğümler olarak tutulurken, ilişkiler ve öznitelikler ayrı beyan kayıtları şeklinde modellenmiştir. Her beyana haber kaynağı ve haberin tarihi eklenmiştir. Böylece yeni bir haber önceki bir olguyu güncellediğinde, kayıt sil yaz şeklinde değil, önceki beyanın geçerliliğini kapatıp yeni bir beyan açacak biçimde ele alınabilmektedir. Bu yaklaşım, zamansal sorguların önünü açmakta hem de aynı olgunun farklı tarihlerde nasıl değiştiğini geriye dönük izlenebilir kılmaktadır. Sistem 200 Türkçe finans haberi üzerinde değerlendirilmiştir. Çıkarım düzeyi değerlendirmeleri çıkarım ve çözümleme biçimlerine göre dört yöntem ile karşılaştırılmıştır. Üç aşamalı çıkarımın çözümlemeli ve çözümlemesiz sürümleri ile tek geçişli çıkarımın çözümlemeli ve çözümlemesiz sürümleri. Varlık çıkarımında en yüksek F1 değeri %73,06 düzeyinde elde edilmiş; tek geçişli yöntemlerde F1 değerleri yaklaşık %69–%70 bandında kalmıştır. İlişki çıkarımı ise genel olarak daha kırılgan bir tablo sergilemiştir; en iyi F1 değerleri yaklaşık %33 seviyesinde gözlenmiştir. Bu durum, finans haberlerinde ilişkilerin çoğu zaman örtük ifade edilmesi, kanıtın birden fazla cümleye dağılması ve dilsel belirsizliğin artmasıyla uyumludur. Operasyon planlama katmanı, çıkarım çıktılarındaki toplam varlık–ilişki sayısına göre seçilen 50 haberlik bir alt küme üzerinde, operasyon düzeyi ölçütlerle incelenmiştir. Sonuçlar, planlayıcının UPSERT kararlarında kaçırma riskini düşük tutacak şekilde yüksek bulma oranı ürettiğini; buna karşın özellikle ilişkilerde UPSERT tutturma oranının görece düşük kalması nedeniyle fazladan kabul eğiliminin ortaya çıkabildiğini göstermektedir. REJECT kararlarında ise farklı bir desen görülmüştür: reddetme kararı verildiğinde çoğunlukla doğru olsa da reddedilmesi gereken adayların tamamına yakını yakalanamamaktadır. Bu tablo, operasyon planlamanın graf büyümesini belirli ölçüde kontrol altına aldığını ancak seçiciliğin özellikle ilişki tarafında daha güçlü kanıt sinyalleriyle desteklenmesi gerektiğini düşündürmektedir. Sistemin graf düzeyinde etkisine bakıldığında, operasyon planlama katmanı doğrudan yazım yaklaşımına kıyasla düğüm sayısını yaklaşık %19,55 ve ilişki sayısını yaklaşık %21,19 azaltarak daha kompakt bir yapı elde edilmesine katkı vermiştir. Bu kompaktlaşma, uzun vadede gürültü birikimini ve bakım maliyetini azaltan daha yönetilebilir bir graf yapısına işaret etmektedir. Genel olarak bu tez, Türkçe finans haberlerinden bilgi grafı üretiminde başarının yalnızca çıkarım ölçütleriyle sınırlı olmadığını; çıkarılan aday bilginin graf bağlamında denetlenebilir kararlara dönüştürülmesinin kalite ve sürdürülebilirlik açısından belirleyici olduğunu ortaya koymaktadır. Elde edilen bulgular, özellikle ilişki çıkarımında örtüklük ve kanıt dağınıklığı kaynaklı kırılganlığın devam ettiğini; buna karşılık, kanonikleştirme ve operasyon planlama gibi tamamlayıcı katmanların grafın uzun vadeli sağlığını iyileştirmede somut bir katkı sunduğunu göstermektedir.