İnternet madenciliğinde istatistiksel metotların uygulanması

Abstract

İnternetin yaygın kullanılabilirliği, web sayfalarının sayısında büyük bir artışı da beraberinde getirmiştir. Benzer bilgileri barındıran web sayfalarına ulaşabilmek için kullanılan arama motorları, internet kullanıcıları için vazgeçilmez olmuştur. Arama motorlarının geliştirilmesi için kullanıcıların davranışlarının tahmin edilmesi önemli hale gelmiştir. Geliştirilen arama motorlarıyla kullanıcıların daha kısa sürede aradıkları bilgiye ulaşabilmesi sağlanabileceği gibi, kullanıcı temelli arama motorları da geliştirilebilir. Arama motoru kullanıcı davranışlarının tahmininde anlam bazlı veya anlam bazlı olmayan metotlar kullanılabilir. Bu metotlarda en önemli nokta, konu değişikliklerinin tahminidir.Şimdiye kadar konu değişikliği tahmini için anlam bazlı olmayan pek çok istatistiksel yöntem, aynı veriler üzerine uygulanmıştır. Excite ve FAST arama motorlarından alınan verilerin kullanıldığı yöntemlerin sonuçları incelendiğinde, sorgulardaki yazım farklılıklarının yöntemlerin hatalı olarak konu değişimi tahmini yapmasına sebep olduğu gözlenmiştir.Çalışmada yazım farklılıklarından kaynaklanan hatalı tahminlerin azaltılması hedeflenmiştir. Bu amaçla, anlam bazlı olmayan karakter n-gram yöntemi Excite ve FAST verilerine uygulanmıştır. İkinci bir çalışma olarak aynı verilere uygulanan önceki çalışmaların performans değerlendirmeleri yapılmış ve değerlendirme sonucunda bulunan en iyi yöntemin tahmin sonuçlarına karakter n-gram yöntemi uygulanarak tahmin sonuçları güncellenmiş ve her iki çalışmanın performans değerlendirmeleri yapılmıştır.

The widespread availability of Internet has brought about significant increase in the amount of web pages. Search engines that utilize to access web pages which include similar information have become indispensable for internet users. In order to enhance better search engines, determining search engine users behaviors has become important. Due to developed search engines, users could reach information in a short time, and also user based search engines could be built. Content based or content-ignorant methodologies can be used for determining search engine users behaviors. The most important thing in these methodologies is to identify the topic changes.To date, many content-ignorant studies have been performed to same datasets with the aim of automatic new topic identification. Due to performance results of these content-ignorant studies which use Excite and FAST search engines datasets, it is observed that spelling errors has caused topic shift estimates by mistake.It is aimed to reduce wrong estimates that are based on spelling errors in this study. For this purpose, a content-ignorant methodology called character n-gram is applied to Excite and FAST datasets. In addition, previous content-ignorant applications that use same datasets are evaluated by their performance, then considering the evaluation results, the topic shift estimations are updated by implementing character n-gram method to the most successful content-ignorant methods estimation results and performance evaluation is performed for both studies.