Türkçe Metinler İçin Konu Belirleme Sistemi

Abstract

Bilgi erişimi (BE), bilginin temsil edilmesi, saklanması, düzenlenmesi ve gerektiği zamanda erişilebilmesini mümkün hale getirmek için yöntemlerin geliştirildiği araştırma konusudur. Genel Ağ’ın (İnternet) yaygınlaşması ile sayısal olarak saklanan ve erişilmek istenen belgelerin sayısı her geçen gün artmaktadır. Bu durum, Bilgi Erişimi’ni günümüzde en çok ilgilenilen ve araştırılan konulardan biri haline getirmiştir. Metin işleme BE uygulamaları arasında önemli bir yer tutmaktadır. Metin işleme uygulamalarının bir alt kümesi olan Metin Sınıflandırma doğal dil ile yazılmış metinlerinin içeriklerine göre ilgili kanallara yönlendirilmesi, e-posta iletilerinin önemli önemsiz olarak ayrıştırılması, ya da metinlerin konularının belirlenmesi gibi alanlarda uygulanmaktadır. Doğal Dil İşleme, sözlü veya yazılı dili incelemek üzere, yazılım ya da donanım olarak bilgisayar sistemleri geliştirilmesi işlemini açıklayan bir terimdir. Bilgi Erişimi alanında ele alınan metinler doğal dil ile yazılmış olduğundan, Bilgi Erişimi sistemlerinin başarımını artırmak için Doğal Dil İşleme yöntemlerinden yararlanılması gerekmektedir. Türkçede köke yapım eki getirilerek oluşturulan yeni kelimeye gövde, bir kelimeye eklenmiş olan çekim eklerinin çıkarılması ile kelimenin gövdesinin bulunması işlemine ise Gövdeleme denilmektedir. Türkçe gibi sondan eklemeli dillerde ise gövdeleme başarımı yüksek oranda etkileyen aşamalardan biri olmaktadır. Metin sınıflandırma, yazılı belgelerin içeriklerine bağlı olarak belirli sınıflara atanması işlemine verilen isimdir. Metin sınıflandırma işlemine örnek olarak bir kaynaktan gelen haberlerin konularına göre ayrıştırılması işlemi verilebilir. Bu tezde, Türkçenin belirtilen özellikleri göz önüne alınarak, Türkçe bir metnin konusunun belirlenmesine yönelik algoritmalar gerçeklenen yazılımlarla birlikte tanıtılmıştır. Yapılan çalışmada, Bilgi Erişimi için gerekli olan ön çalışmalardan biri olan sözcüklerin yapım eklerinin korunarak çekim eklerinin atılması anlamına gelen gövdeleme işlemi için kullanılabilecek yöntemler karşılaştırılarak incelenmiş ve uygulanmıştır. Ön işlemlerden geçmiş olan metnin sınıflandırılması için gerekli sınıflandırma algoritmaları da incelenmiş ve uygulanmıştır.

Information Retrieval (IR) is the research subject that deals with the representation, storage, organization and retrieval of information. With the increasing number of documents available online, information retrieval is becoming more needed and important. Text processing is one of the main subjects in IR. Text Classification, which is a subset of text processing, has many applications such as routing, spam e-mail detection or detecting topics of texts. Natural Language Processing (NLP) is described as developing hardware or software systems in order to analyze spoken or written natural language. In the subject of text processing, since many texts are in natural laguage, NLP is used in order to improve performance. Turkish is a agglutinative language and every word in Turkish has a root and affixes which are added do the root. Stem is used to describe a word that is derived from a root with a derivational affix. Stemming is the process of removing inflectional affixes while keeping derivational ones. In agglutinative languages like Turkish, stemming is a very important proccess that mostly affects the overall performance. Text classification is the process of assigning a document into one or more classes with respect to its content. A system that classifies news texts with respect to their topics can be considered as a text classification system. In this study, a text classification system for Turkish is explained incuding developed algorithms and software. Stemming algorithms, and text classification methods are researched, compared and implemented.