Test eşitlemede yerel bağımsızlık varsayımının ihlalinin delta ve bootstrap eşitleme hatalarına etkisinin çeşitli değişkenlere göre incelenmesi

Abstract

Bu araştırmada doğrusal, eşit yüzdelikli ve polinominal loglinear öndüzgünleşirilmiş eşit yüzdelikli test eşitleme yöntemlerinde hataların belirlenmesinde kullanılan delta ve bootstrap eşitleme hatası kestirme yöntemlerinin örneklem büyüklüğü, madde sayısı ve ikinci boyuta yüklenen madde yüzdesi değişkenleri bakımından incelenmesi amaçlanmıştır. Araştırmada eşitleme yöntemleri farklı koşullarda simülasyon verileri ile kontrollü olarak karşılaştırıldığından araştırma bir simülasyon çalışması niteliğindedir. Simülasyon çalışmalarında elde edilen simülasyon verisinin gerçek yanıtları temsil etmesi için simülasyon verileri PISA 2018 matematik sınavı birinci formundan elde edilen verilere ait dağılımlarından yararlanarak üretilmiştir. Araştırmada, örneklem büyüklüğü (250, 1000, 5000), test uzunluğu (20, 40, 60), ikinci boyuta yüklenen madde oranı (%15-%30-%50) olmak üzere 36 koşul incelenmiştir. Bu koşullar altında 2PLM’ye uyumlu iki kategorili ve 100 replikasyon ile 3600 veri seti elde edilmiştir. Araştırmamızda “random gruplar deseni” kullanılmıştır. Genel olarak örneklem büyüklüğü azaldıkça elde edilen hata miktarlarında artış olduğu en az hata içeren koşulun 5000 örneklem büyüklüğü ve testte yer alan madde sayısının 20 olması durumunda elde edildiği, en iyi performansa sahip eşitleme yönteminin doğrusal eşitleme yöntemi olduğu ve eşitleme hatalarını belirlemede kullanılan yöntem olarak da delta yöntemi olduğu sonucuna ulaşılmıştır. Ayrıca testin tek boyutlu yapısının bozulup çok boyutlu olması durumunda ikinci boyuta yüklenen madde oranı bakımından elde edilen eşitleme hatalarında sistematik bir bulguya rastlanılmadığı, araştırmada ele alınan test eşitleme yöntemleri, eşitleme hatalarını belirlemede kullanılan yöntem, örneklem büyüklüğü ve testte yer alan madde sayısı koşullarına göre değişkenlik gösterdiği tespit edilmiştir.

This study aimed to examine the delta and bootstrap equating error estimation methods used in determining errors in linear, equipercentile and polynomial loglinear presmoothing equipercentile test equating methods regarding sample size, number of items, and percentage of items loaded in the second dimension. The study is simulation research since the equating methods in the research are compared using the simulation data under different controlled conditions. The simulation data obtained in the simulation studies were produced using the distributions of the data obtained from the first form of the PISA 2018 mathematics exam to represent the actual responses. In the study, 36 conditions including sample size (250, 1000, 5000), test length (20, 40, 60), and the ratio of items loaded on the second dimension (15%, 30%, 50%) were examined. Under these conditions, 3600 data sets were obtained with two categories and 100 replications compatible with 2PLM. "Random groups design" was used in our study. It has been concluded that, in general, the number of errors increases as the number of samples decreases and that the condition with the minor error is obtained when the sample size of 5000 and the number of items in the test is 20. It has also been concluded that the equating method with the best performance in equating and determining errors is the linear equating method and the delta method, respectively. In addition, there is no systematic finding in the equating errors in terms of the rate of items loaded into the second dimension when a multidimensional structure is obtained as a result of the corruption of the one-dimensional structure of the test, and the equating errors vary according to the test equating methods discussed in the research, the method used to determine the equating errors, the sample size and the number of items in the test.