چکیده:
زمینه:اگر چه روش های متعددی جهت شناسایی سوالات سودار معرفی شده است، اما تحقیقات اندکی به صورت تجربی قدرت و کارایی هر یک این روش ها را مورد بررسی قرار داده است. هدف: هدف از تحقیق حاضر مقایسه آزمون نسبت درستنمایی مبتنی بر مدل پرسش-پاسخ (IRT) و روش تحلیل عاملی تاییدی(CFA) در شناسایی کنش افتراقی سوالات آزمون های سرنوشت ساز بود. روش: برای پاسخگویی به سوالات تحقیق از روش مطالعات شبیه سازی مونت کارلو استفاده شد. داده های مورد نیاز با استفاده از نرم افزار وین جن2 در قالب 100 آزمون 30 سوالی که با مدل دو پارامتری برازش داشتند، شبیه سازی شد. توزیع دشواری و قدرت تمیز سوالات همه آزمون ها، نرمال بود. اما آزمون ها از حیث نوع DIF، میزان DIF و همچنین پارامترهای سوال با هم متفاوت بودند.همچنین برای هر آزمون، پاسخهای 1000 آزمودنی با توزیع توانایی(θ) نرمال شبیه سازی شد. از روش های برآورد بیشینه درستنمایی حاشیه ای و روش برآورد حداقل مربعات وزنی برای تعیین نوع و میزان DIF استفاده شد. یافته ها:تجزیه و تحلیل داده ها در تکرارهای متوالی نشان داد که روش های مبتنی بر IRT در شناسایی DIF نسبت به روش های CFA برتری دارند. این برتری در تمامی شرایط DIF (کم، متوسط و زیاد) مشاهده شد. با این همه، تفاوت دو روش در حجمهای نمونه 1000 نفری، جزئی و قابل اغماض است. همچنین میان دو روش از نظر شناسایی نوع DIF تفاوتی دیده نشد. بحث و نتیجه گیری: نتایج پژوهش حاضر با نتایج مید و لوتنچلاجر(2006 و 2004) همخوانی دارد، اما برخلاف نتایج فلاورز و همکاران(2002) است. سرانجام در صورت محدودیت در استفاده از یک روش تشخیص DIF، آزمون نسبت درستنمایی مبتنی بر مدل پرسش- پاسخ توصیه شود.
Although numerous methods have been proposed for detecting biased items، but a few researches have empirically investigated the power and efficiency of these methods. The main goal of this research was to apply IRT-based likelihood ratio test and confirmatory factor analysis in detecting differential item functioning (DIF) in high stakes tests. Monte Carlo simulated methods were used to answer the research questions. Required data were simulated through WINGEN2 in the form of 100 tests with 30 items that were fitted to 2PL model. Distributions of item difficulties and discrimination powers of all the tests were normal. Responses of 1000 examinees were also simulated with normal ability distribution for each test. Estimation methods of marginal maximum likelihood and weighted least squares were used to detect type and magnitudes of DIF. Data analysis in consecutive replications showed that IRT based methods were superior to CFA methods in detecting DIF. This superiority was observed in all DIF conditions (low، moderate and high). After all، differences between two methods were small at 1000 sample sizes. No differences were observed between two methods in detecting different types of DIF. Results of this study confirm the results of Meade and Lautenschlager (2004; 2006)، but is in contrast with the results of Flowers et al (2002). Finally، Likelihood Ratio test is recommended if there is any limitation in applying methods of detecting DIF.
خلاصه ماشینی:
"مقایسۀ روشهای تحلیل عاملی تأییدی (CFA) و نسبت درستنمایی مبتنی بر مدل پرسش-پاسخ(IRT) در ردگیری کنش افتراقی سؤالات آزمونهای سرنوشت ساز 1 مسعود گرامیپور 2 محمدرضا فلسفینژاد 3 علی دلاور 4 نورعلی فرخی 5 چکیده زمینه:اگر چه روشهای متعددی جهت شناسایی سؤالات سودار معرفی شده است، اما تحقیقات اندکی به صورت تجربی قدرت و کارایی هر یک این روشها را مورد بررسی قرار داده است.
لذا این تحقیق، روشهای مبتنی بر IRT ، روش نسبت درستنمایی 1 و از روشهای غیر مبتنی بر IRT ، روش تحلیل عاملی تأییدی (CFA) را به عنوان مجموعه ای جدید برای پژوهش انتخاب کرده و میکوشد تا پاسخ در خور توجهی به این سؤال که" کدامیک از روشهای آزمون نسبت درستنمایی مبتنی بر مدل پرسش-پاسخ (IRT) و روش تحلیل عاملی تأییدی در بررسی کنش افتراقی سؤال با قدرت بیشتری میتوانند سوگیری سؤال را در آزمونهای سرنوشت ساز آشکار کنند؟ و عوامل مداخله گر بر نرخ آشکار سازی DIF در این روشها کدامند؟" روش پژوهش برای مقایسه قدرت روشهای شناسایی DIF در آزمونهای سرنوشت ساز، از مطالعات شبیهسازی موسوم به مطالعات مونت کارلو 2 استفاده شد.
جدول 1- نرخ آشکار سازی سوگیری سؤال( از 100 مرتبه) با حجم نمونه 1000 آزمودنی در شرایط مختلف آزمایشی با استفاده از آزمونهای تشخیص DIF تحلیل عاملی تأییدی آزمون نسبت درستنمایی IRT تعداد گزینه های سؤال درصد سؤالات DIF شدت DIF نوع DIF 88 100 دو گزینه ای سه سؤال (10%) 0.
درصد متوسط نرخ آشکارسازی در آزمونهای شبیهسازی شده سرنوشت ساز در حجم نمونه 150 و 500 آزمودنی در آزمون نسبت درستنمایی مبتنی بر نظریه پرسش-پاسخ در مقایسه با آزمونهای تحلیل عاملی تأییدی بیشتر است."