İnternet arama motoru kullanıcı verilerinin analizinde simülasyon ve olasılıksal yöntemlerin uygulanması

Abstract

Akıllı bir arama motoru geliştirmenin en önemli adımlarından biri yeni konu tanımlanmasıdır. Yeni konu tanımlanması kullanıcının tek bir oturum sırasında bir konudan diğerine geçerken ki konu değişiminin belirlenmesidir. Bu çalışmada arama motoru kullanıcı oturumlarındaki konu değişikliklerini tespit ve tahmin etmek amaçlanmıştır. Bunun içinde Şartlı Olasılık Yaklaşımı ve Monte Carlo Simülasyonu olmak üzere iki farklı yaklaşım Excite ve FAST arama motorlarından alınan veri setlerinde kullanılmıştır. Bu yaklaşımlarda veri setindeki her bir sorgu için ‘konu değişikliği var’ ve ‘konu değişikliği yok’ diye atamalar yapılmaktadır. Atamaları yapmak içinse sorgunun zaman aralığı ve arama yapısı olmak üzere iki adet istatistiksel özelliği kullanılmaktadır. Yaklaşımlar tarafından yapılan atamalar uzman kişi tarafından yapılan atamalarla karşılaştırılmıştır. Daha sonra yaklaşımların performans ölçütleri hesaplanmış ve incelenmiştir. Şartlı Olasılık yaklaşımı ve Monte-Carlo Simülasyonu yeni konu tanımlaması için yeterli ve tutarlı sonuçlar sağlamıştır.

One of the main elements in developing a personalized intelligent search engine is new topic identification. New topic identification is discovering when the user has switched from one topic to another during a single search session. In this study, it is aimed to estimate and determine new topic identification. For this reason, two different approaches, Conditional Probabilitity and Monte Carlo Simulation are used in Excite and FAST search engine query logs. Due to application of mentioned methods for automatic new topic identification, each query is assigned as “topic shift” or as “topic continuation”. This assignment relies on the statistical characteristics of the queries, such as the time interval between consecutive queries and the search pattern of the consecutive queries. Results of human expert and methods are compared and performance measures are calculated. Conditional Probability Approach and Monte Carlo Simulation Method provided acceptable and adequate results.