Please use this identifier to cite or link to this item: http://hdl.handle.net/11527/476
Title: Hece Tabanlı İstatistiksel Yöntemler İle Yazım Hatası Bulma Ve Düzeltme
Other Titles: Spelling Check And Correction By Using Syllable Based N-gram Models
Authors: Adalı, Eşref
Eroğlu, Özlem Sema
Bilgisayar Mühendisliği
Computer Engineering
Keywords: doğal dil işleme
n-gram
hece
yazım hatası bulma
yazım hatası düzeltme
natural Language Processing
n-gram
syllable
spelling checking
spelling correction
Publisher: Fen Bilimleri Enstitüsü
Institute of Science and Technology
Abstract: Bu çalışmada Türkçe için hece tabanlı n-gram bir model oluşturulmuş, bu modelin yazım hatası bulma ve düzeltme uygulamalarında kullanılırlığı araştırılmıştır. N-gram modeller doğal dil işleme uygulamalarında sıklıkla kullanılan istatistiksel bir yöntemdir. Sözcük tabanlı n-gram modeller daha önce çeşitli diller için oluşturulmuş ve farklı doğal dil işleme amaçları için kullanılmıştır. Ancak Türkçe biçimbirimsel açıdan bitişken yapılı bir dil olduğu için kelime tabanlı n-gram modellerin bu dil için yeterli olmayışı hece tabanlı bir modelin çıkış noktası olmuştur. Bir kısım eğitim kümesi üzerinden istatistiksel bilgi toplayarak oluşturulan bigram ve trigram modeller, daha sonra test kümeleri üzerinde yazım hatalarının bulunması ve düzeltilmesi için denenmiş, sonuçları tartışılmıştır Geliştirilen hece tabanlı modelin başarımının ölçülmesi amacıyla aynı eğitim kümeleri kullanılarak harf tabanlı n-gram model de geliştirilmiş ve aynı test kümeleri üzerinde denenerek başarımları kıyaslanmaya çalışılmıştır. Bu tez kapsamında heceleme işlemi gerçekleştirildikten sonra n-gram modellerin oluşturulma aşaması için geliştirilmiş olan uygulama dilin özelliklerinden bağımsız olduğu için başka dillerde de birim olarak harfler ya da heceler seçilerek kullanılabilecek şekilde genelleştirilebilir.
N-gram models are widely used in Natural Language Processing. But languages like Turkish, which are agglutinative in morphological structure, and hence have a huge vocabulary size, are not suitable for word-based n-gram models. In this study, syllable based n-gram models are examined for Turkish. In Turkish, the rules for segmenting words into syllables are very clear and the size of regular syllable vocabulary is considerably low to be compared with word vocabulary size. As the statistical methods are based on counting, this low vocabulary size enables syllables to be favourable for use in n-gram models. With only the rules of vowel and consonant counts of a syllable, 152,048 possible syllables are generated syntactically. Adding the phonological rules resulted 6,160 syllable types for Turkish. To compare the performance of letter based and syllable based n-grams, letter based bigram and trigram models are also taken into the scope of this work. Syllable based bigram and trigram models are developed and tested for spelling checking and correction in Turkish text. Developing the n-gram models are based on counting the distinct syllables and the consecution of syllables in a training corpus according to the degree of the model. Once the model is constructed it can be used by various Natural Language Processing applications. Here, we use the model mainly for spelling checking and correction, and also we concisely show the ability of the model for word generation in Turkish.
Description: Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2005
Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2005
URI: http://hdl.handle.net/11527/476
Appears in Collections:Bilgisayar Mühendisliği Lisansüstü Programı - Yüksek Lisans

Files in This Item:
File Description SizeFormat 
2863.pdf1.2 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.