Türkçe Dokümanlar İçin Anlamsal Benzerlik Hesaplama Yöntemi

Abstract

Bu çalışmada, Türkçe dokümanların anlamsal benzerliğinin hesaplanması için, yeni bir yöntem önerilmiştir. Çalışmada kullanılan dokümanlar, Türkçe bir internet sitesinden elde edilmiştir. Türkçe dokümanlar arası anlam benzerliğini hesaplamak için, Türkçe kavramsal sözlüğündeki sözcükler arası ilişkiler ayrıt temelli bir yaklaşımla incelenmiştir. Önerilen yöntemle sözcükler arası ikili benzerlikler saptanıp, bu benzerliklerin ağırlıklı ortalama kullanılarak birleşimi ile de dokümanlar arası ikili benzerlikler bulunmuştur. Sözcükler arası benzerlik ilişkisi için daha önceden kavramsal sözlük kullanılarak uygulanan ayrıt temelli yöntemlerle de kıyaslama yapılmıştır. Önerilen yöntemle hesaplanan ikili benzerlikler, çizge tabanlı bir demetleme yöntemi ile birbirine daha çok benzeyen dokümanların aynı demette olacağı şekilde gruplanmıştır. Demetleme sonuçlarından hareketle benzerlik sonuçları başarımı çıkarılmıştır. Ayrıca daha sağlıklı bir kıyaslama için kavramsal sözlük kullanmayan yöntemlerle benzerlik hesaplaması da yapılmıştır. Yapılan deneyler sonucunda, bu çalışma kapsamında önerilen benzerlik hesaplama yönteminin başarımının yeter seviyede olduğu gözlenmiştir.

In this study, a new method is offered for calculating semantic similarity of Turkish documents. The documents used in this research are Turkish web pages. The new method uses edge-based similarity technics from Turkish lexical dictionary to calculate semantic similarity of Turkish documents. At first, pairwise similarities between keywords of two documents are calculated. Afterwards, pairwise word similarities are combined in a weighted average manner to get the pairwise document similarity result. Method results are compared with existing edge-based semantic similarity methods. Similarity results of the new method are then clustered by using a graph-based clustering algorithm so that most similar documents are collected in the same group. Clustering results give the performance of similarity results indirectly. In addition, method results are compared with non-lexical semantic similarity algorithms to have a better performance understanding of the new algorithm. The comparison of the results with the examples given in the literature was in a good agreement.