Bootstrap yönteminin ridge regresyonda uygulanması

Abstract

İstatistiksel analizlerde, en yaygın olarak kullanılan yöntemlerden biri regresyon analizidir. Gauss-Markov varsayımları altında en küçük kareler yöntemi ile, en iyi takdir ediciler elde edilmesine rağmen, bağımsız değişkenler arasında ilişki olması durumunda, en küçük varyansa sahip takdir edici özelliğini kaybetmektedir. Bu duruma önerilen çözüm yöntemlerinden biri ridge regresyondur. Ridge regresyon ile elde edilen takdir edicilerin varyansı en küçük kareler yöntemi ile bulunan varyanslara göre daha küçüktür. Bu çalışmada ridge regresyonda parametrelerin tahmin edilmesinde Efron(1979) tarafından önerilen ve bir örneklemden tekrarlı örneklemlerin seçilmesi esasına dayanan Bootstrap yöntemi kullanılarak takdir edicilerin dağılımları ortaya konulmaya çalışılmıştır. Çoklu bağlantı olan veri setinde ridge regresyon yöntemi kullanılarak elde edilecek olan hata terimlerinden tekrarlı örneklemler seçilerek en iyi parametre takdir edicileri elde edilmiş ve uygulama sonucunda elde edilen sonuçlar karşılaştırılmıştır.

Regression analysis is the most frequently used tool in statistics. Under the Gauss Markov assumption maximum likelihood estimators are the best estimator.However, these estimators do not have the minimum variance if the independent variables have multicollinearity. The remedy for this problem is the Ridge regression. The estimators obtained by Ridge regression have less variance compare to the maximum likelihood estimation. In this study ridge regression estimator are going to be estimated by bootstrap techniques. At the end of the study the distribution of the estimators are going to be shown.