Kosinüs Benzerliğini Kullanarak Belgeler Arası Anlamsal Benzerliği Kavramsal Sözlüğe Dayalı Hesaplama Yöntemi

Abstract

Bu çalışmada, belgeler arası anlamsal benzerliği hesaplamak için yeni bir yöntem önerilmektedir. Bu yöntem dökümanları simgeleyen terim vektörlerinin kosinüs benzerliği hesaplamasına dayanmaktadır. Bu terim vektörleri WordNet’in hiyerarşik yapılarından biri olan IS-A taksonomisine dayanmaktadır. Önerilen yöntemin var olan belge anlamsal benzerlik hesaplama ölçütlerinden en önemli farkı kısa zaman karmaşıklığıdır. Çalışmanın ilk bölümünde, varolan belge benzerlik ölçütleri, Türk belgelerindeki demetleme üzerinde oluşturdukları etkiler açısından karşılaştırılmaktadır. İlk deney kümesinin sonuçları, terim benzerliğini kullanarak hesaplanan ölçütlerin, insan yargılarına daha iyi uyan demetleme çözümleri ürettiğini göstermektedir. Ancak, anlamsal benzerlik ölçütleri daha uyumlu ve ayrık demetler oluşturmaktadır. Bu çalışmanın ikinci bölümünde, önerilen yöntem, kosinüs benzerliği ve Gündüz & Yücesoy tarafından önerilen belge anlamsal benzerliği ile karşılaştırılmaktadır. Karşılaştırma demetleme göstergeleri açısından yapılmıştır. Deneysel sonuç önerilen yöntemin yukarıda bahsedilen iki benzerlik ölçütünden daha başarılı sonuçlar verdiğini göstermektedir. Ayrıca, önerilen yöntemin zaman karmaşıklığı terim benzerliği ölçütünün zaman karmaşıklığı ile aynıdır.

A new method for measuring the semantic similarity between documents is present in this study. This method is based on cosine similarity calculation of concept vectors representing the documents. Those concept vectors are extracted from the IS-A taxonomy, which is one of the hierarchical structures of the WordNet. The main difference of the proposed method and existing document semantic similarity measures is its low time complexity. In the first part of this study, existing document similarity metrics are compared in terms of the effects they produce on clustering of the Turkish documents. The results of the first experiment set show that single term similarity measure produces clustering solutions that better matches the human judgments. However, semantic similarity measures produce more cohesive and separate clusters. In the second part of this study, the proposed method is compared with the cosine similarity and document semantic similarity measure introduced by Gunduz & Yucesoy. The comparison is done in terms of unsupervised cluster validity indices. The experimental result shows that the proposed method outperforms both of the similarity metrics mentioned above. Moreover, the time complexity of the proposed method is the same with the time complexity of single term similarity measures.