Abstract:
یکی از چالشهای اساسی گذر از آزمونهای مداد – کاغذی به انطباقی کامپیوتری عادلانه بودن است که ارزیابی آن در چارچوب کارکرد افتراقی ضرورتی اجتنابناپذیر میباشد. هدف: هدف مطالعه حاضر بررسی کارکرد افتراقی، ارزیابی عوامل مداخلهگر در میزان آشکارسازی و معرفی روش بهینه مطالعه کارکرد افتراقی در سنجش انطباقی کامپیوتری بود. روش: با توجه به مسئله پژوهش از روش تجربی استفاده شد. گردآوری دادهها و دستکاری متغیرها با استفاده از روش شبیهسازی صورت گرفت. پاسخهای گروه نمونه 1000 نفری (گروه مرجع و کانونی با حجم یکسان 500 نفری) به بانک 55 سوالی دوارزشی براساس مدل لجستیک سهپارامتری در 20 تکرار شبیه سازی شد. 15 سوال بانک از نظر نوع و اندازه کارکرد افتراقی دستکاری شدند و اثر آزمون براساس تفاوت میانگین توانایی گروههای مقایسه تعیین گردید. آزمون انطباقی کامپیوتری 30 سوالی با نرمافزار Firestar اجرا شد. تحلیل کارکرد افتراقی با روش رگرسیون لجستیک و آزمون نسبت درستنمایی صورت گرفت و روشها براساس توان و خطای نوع اول مقایسه شدند. یافتهها: میزان خطای نوع اول روش آزمون نسبت درستنمایی کمتر از رگرسیون لجستیک بود. توان هر دو روش متاثر از نوع، مقدار کارکرد افتراقی و اثر آزمون بود. روش آزمون نسبت درستنمایی در شناسایی کارکرد افتراقی یکنواخت در هر دو موقعیت اثر و بدون اثر نسبت به روش رگرسیون لجستیک توان بیشتری داشته است و با افزایش شدت کارکرد افتراقی توان نیز افزایش یافته است. در ارزیابی کارکرد افتراقی غیریکنواخت تفاوتی بین روشها مشاهده نشد و هر دو روش توان کمی داشتند. نتیجهگیری: با توجه به توان و میزان خطای نوع اول، روش آزمون نسبت درستنمایی رویکرد مطلوب در بررسی کارکرد افتراقی یکنواخت است، در حالی که ارزیابی کارکرد افتراقی غیریکنواخت مستلزم مطالعات تکمیلی میباشد.
Background: Test fairness is one of the main challenges in transition from paper- pencil towards computerized adaptive testing (CAT). Aim: This study was aimed at investigating differential item function (DIF), assessing intervening factors in clarifying DIF and suggesting the optimal method for DIF in computerized adaptive testing. Method: The empirical method was applied based on the nature of the study area. Data gathering procedure and manipulating the variables were done using simulation method. The responses of 1000 examinees (reference and focal group with equal 500 numbers) to item bank of 55 dichotomous items were simulated based on 3-parameter logistic model with 20 iterations. Fifteen items were manipulated in terms of DIF type and magnitude and test impact was evaluated based on mean difference of comparison groups. Computerized adaptive test with 30 items was administered via Firestar software package. Analysis was done by logistic regression (LR) and item response theory-likelihood ratio test (IRT-LRT) and the methods were compared based on their power and type I error rate. Results: Type I error rate of likelihood ratio test was less than logistic regression. The power of the methods was influenced by type, magnitude of DIF and test impact. Comparing with logistic regression, Item response theory-likelihood ratio test had more power in detecting uniform DIF for the impact and no-impact conditions and it showed more power by increasing the magnitude of DIF. The two methods showed no difference in assessing non-uniform DIF and both of them were poor. Conclusion: Given the power and type I error rate, likelihood ratio test is an optimal approach in detecting uniform DIF. However, assessing non-uniform DIF requires further investigation.
Machine summary:
Hambleton, Swaminathan & Rogers 7.
Thissen, Steinberg & Wainer 3.
Cohen, Kim & Wollack روش رگرسیون لجستیک نیز با توجه به قابلیت شناسایی کارکرد افتراقی غیریکنواخت میتواند در چارچوب آزمون انطباقی کامپیوتری مورد استفاده قرار گیرد.
حساسیت روش CATSIB در شرایط کوچک بودن حجم هر یک از گروه ها، نابرابر بودن حجم گروه ها و زیاد بودن اندازه اثر آزمون (تفاوت میانگین توزیع توانایی گروه مرجع و کانونی) کم بود لی، چن و یو (٢٠٠٦) نیز عملکرد CATSIB، رگرسیون لجستیک و آزمون نسبت درستنمایی سؤال - پاسخ را به طور همزمان با استفاده از مطالعه شبیه سازی در سؤال های پیش آزمون مورد بررسی قرار دادند.
در راستای این هدف ، پژوهش حاضر به عنوان یکی از اولین مطالعات به بررسی کارکرد افتراقی در سؤال های عملیاتی در اجرای انطباقی کامپیوتری براساس روش آزمون نسبت درستنمایی سؤال – پاسخ و رگرسیون لجستیک پرداخته است .
Harwell, Stone, Hsu & Kirisci 2.
توان هر دو روش نسبت درستنمایی سؤال – پاسخ و رگرسیون لجستیک در شناسایی کارکرد افتراقی یکنواخت در شرایط یکسانی میانگین گروه های مرجع و کانونی بیشتر است .
Comparing methods of assessing differential item functioning in a computerized adaptive testing environment.
CATSIB: A Modified SIBTEST Procedure To Detect Differential Item Functioning in Computerized Adaptive Tests.
Differential Item Functioning in Computerized Adaptive Testing: Can CAT Self-Adjust Enough?
Application of an empirical Bayes enhancement of Mantel-Haenszel differential item functioning analysis to a computerized adaptive test.
A simulation study of methods for assessing differential item functioning in computerized adaptive tests.