چکیده:
ارزیابی سیستمهای پرسش و پاسخ تعاملی به منظور تعیین و ارتقای کارایی آنها از اهمیت زیادی برخوردار است. با این وجود هنوز روش استاندارد و مخصوصی برای ارزیابی این سیستمها ارائه نشده است. در ارزیابی یک سیستم پرسش و پاسخ تعاملی معیارهای زیادی تاثیرگذار میباشد. یکی از معیارها، قابلیت اطمینان است. تلاشهای اندکی در راستای اندازهگیری اتوماتیک و تعیین دقیق معیارهای قابلیت اطمینان در سیستم پرسش و پاسخ تعاملی با بکارگیری مدلهای گوناگون، صورت گرفته است. در این مقاله، یک روش جدید جهت اندازهگیری قابلیت اطمینان، با استفاده از ایجاد مجموعه معیارهای تاثیرگذار بر قابلیت اطمینان اعم از معیارهای کیفی و کمی به کمک رگرسیون ارائه شده است. در این روش ابتدا لیستی از ویژگیهای کیفی و کمی تاثیرگذار جمعآوری و سپس با توجه به ضوابط تعیین شده 8 ویژگی کمی انتخاب شدند. سپس براساس پرسشنامه تهیه شده، ضرایب تاثیر سوالات تعیین و با ترکیب این ویژگیها طبق رابطه پیشنهادی قابلیت اطمینان اندازهگیری شد. ارزیابی عملکرد مجموعه معیارهای انتخابی بر روی چهار سیستم پرسش و پاسخ تعاملی نشان داد که با بهکارگیری این مجموعه معیارها، امکان اندازهگیری قابلیت اطمینان برای یک سیستم پرسش و پاسخ فراهم شده است.
Evaluation of interactive question answering systems plays an important role to determine the effectiveness of these questions is of great importance. In the process evaluation of an interactive question answering system, several features can be considered. One of the most effective criteria in the assessment of these systems is reliability. Few attempts have been made to measure the reliability and accurate determination of reliability criteria in interactive question answering systems by applying different models, and most tasks have been used only or qualitative evaluation. In this paper, a new method for the reliability of reliability is presented using the set of criteria affecting this feature, including qualitative and quantitative criteria. In this method, first a list of qualitative and quantitative characteristics is collected and then according to the criteria set, 8 quantitative characteristics are selected and then based on the prepared questionnaire, the coefficients of impact of each question are determined and by combining these characteristics according to the proposed relationship of reliability was measured. The evaluation of the performance of the selected criteria on four interactive question answering indicates that by applying this set of criteria, the reliability of an interactive question answering system can be used to automate the calculation of this feature in the process evaluation process.