چکیده:
هدف: شناسایی قابلیت داوریهای آزاد در بازشناخت مقالات پزشکی براساس شباهت آنها به مقالات مربوط. روششناسی: آزمونی متشکل از 2212 مقاله افهزار ریسرچ و نظرات داوری آنها ساخته شد. 100 مقاله بهعنوان مدرک پایه بهصورت تصادفی انتخاب شد. شباهت نظرات داوری و محتواهای مدارک براساس سنجۀ شباهت کسینوسی مقادیر TF-IDF در سطح تکواژهها و دوواژهها محاسبه شد. شباهت محتوا و نظرات با تحلیل همبستگی اسپیرمن تحلیل شد. صحت پیشبینی شباهت محتوای مقالات براساس شباهت نظرات دریافتشده بهکمک منحنی مشخصه عملکرد سامانه آزمون شد. یافتهها: توان نظرات داوران در بازشناخت مقالات مشابه تأیید شد. میان محتوا و نظرات، همبستگی معنادار وجود دارد. منحنیهای تحلیل عملکرد سامانه نیز نشان داد شباهت نظرات داوری، خواه در سطح تکواژهها و خواه دوواژهایها توانایی شناسایی مقالات با محتوای مشابه را دارد. نتیجهگیری: اعتبار نظرات داوران ریشه در توان تخصصی و شناختی آنان دارد. بنابراین، نظرات میتوانند در شبکه مدارک، در زمره منابع مرتبط اثربخش در بازشناخت مدارک بهشمار آیند. این یافته راه را برای پژوهش در کاربرد نظرات کاربران در حوزههای بازیابی، ارزیابی، یا طبقهبندی متون هموار میکند که شباهت محتوایی در آنها اهمیت دارد.
Purpose: The social web provides a platform for publicizing open peer review reports. In this sphere, journal readers, authors, editors, and reviewers can involve in multilateral discussions on the reviewed papers and share their comments and viewpoints on the merits and probable pitfalls of papers. Open peer review comments may, hence, reflect the features of their mother articles. To identify this potential, the present study investigates to what extent similar comments accurately predict similar papers. Methodology: Applying natural language processing techniques, it analyzes the contents of a sample of papers in medicine and life sciences and the comments received by them. To do so, a test collection is built from the papers openly published on F1000Research, an open access publishing platform that adheres to an open peer reviewing process by transparently providing the public with peer review reports, authors’ responses, and users’ comments. The test collection consists of 2212 papers and their comments. 100 papers are randomly selected as seed documents that serve as queries. The similarities between the comments and the contents of the papers are calculated using Cosine similarity of TF-IDF values. The TF-IDF values are calculated for both unigrams and bigrams extracted from the contents and comments. The correlation between the content and comment similarities is analyzed using Spearman correlation, given the non-normality of the data distributions. The accuracy of prediction of the papers’ content similarity by the similarity of their comments is tested using Receiver Operating Characteristic (ROC) curves. Findings: The results of the Spearman correlation revealed a significant correlation between the content and comment similarities. This signifies that similar papers are more likely to receive similar comments and vice versa. The ROC curves show that similar comments can significantly identify similar papers, either at unigram or bigram level. The prediction is highly accurate. Conclusion: Similar comments are effective in representing similar papers. In other words, similar comments are expected to present similar papers. This finding has implications for interactive information retrieval systems, where users are interested in reading experts’ comments on a given paper before viewing or downloading the paper itself. The findings also may pave the path towards new studies about the application of the comments in such spheres as information retrieval, evaluation or classification, where content similarity is of importance.
خلاصه ماشینی:
از سوی دیگر تحلیل محتوا توسط متخصصان به تولید متون جدیدی می انجامد برای نمونه نویسندگان استنادگر در زمره متخصصانی هستند که تحلیل آنها از محتوای آثار در بافتار استناد یعنی متن پیرامونی یک استناد در متن استنادگر بازتاب می یابد و نقشی به سزا در شناساندن محتوای اثر و در نتیجه ربط موضوعی آن با دیگر آثار دارد Ritchie, Teufel, & Robertson, 2006; Agarwal, Choubey, & Yu, 2010; Doslu & ) ) O'Reilly, 2005; Voss, 2007 Abbasi & Liuمشارکت کاربران در تولید محتوا در رسانه های اجتماعی در گستره ای از فعالیتهای اجتماعی نظیر نظر گذاشتن توییت کردن، برچسب گذاری اشتراکی و رأی دهی شکل میگیرد ( ,Bennett, El-Arini 2012 ,Joachims, & Svore) تجارب تازه تر در شبکههای اجتماعی و در پیوند میان مدرک با متون اجتماعی در حال شکل گیری است و درباره آن نگاشته شده است2016 ,Bingol).
این شیوه که بر پنهان سازی هویت نویسندگان ،داوارن، یا هر دو استوار است شفافیت و آزادی دسترسی خوانندگان به نظرات داوران و پاسخ نویسنده گان میسر نیست و نقدها و نگرانیهای جدی درباره عملکرد و کیفیت آن به وجود آورده است 2016 ,Wang, Rath Dike, & W بی اطمینانی و بی ثباتی ناشی از قضاوت انسانی؛ پاسخ گو نبودن؛ فساد پذیری؛ هدررفت اطلاعات بالقوه ارزشمند در نظرات داوری و سوگیریهای اجتماعی بر اساس جنسیت ،ملیت وابستگی سازمانی زبان و رشته از مهمترین دل نگرانیهای داوری بسته است ) ,Peters & Ceci, 1982; Gillespie Chubin, & Kurzon, 1985; Travis & Collins, 1991; Daniel, 1993; Link, 1998; Tregenza, 2002; Dall'Aglio, 2006; Ross et al.