Abstract:
استخراج کلمات/ عبارات کلیدی متن، پیش‌‌نیاز بسیاری دیگر از وظایف حوزه پردازش زبان طبیعی است. اما بررسی متون فارسی و انگلیسی این حوزه نشان می‌دهد که تلاش‌های انگشت‌شماری برای استخراج کلمات/ عبارات کلیدی از متون فارسی صورت‌گرفته است. ازاین‌رو، این مقاله با هدف تعیین موقعیت کنونی پردازش زبان طبیعی فارسی، و به‌طور خاص، استخراج کلمات/ عبارات کلیدی از متون فارسی به مرور خلاصه‌‌‌‌ای از مقالات فارسی و انگلیسی منتشر‌شده در این حوزه که از متون فارسی برای آزمودن ایده‌ها استفاده کردهاند، می‌پردازد. سپس، هر مقاله را از نظر روششناسی، نحوه اجرا و پیاده‌سا‌‌زی، روش ارزیابی، و معیارهای آن مورد تعمق قرار داده و به چالش می‌کشد. در مجموع، 14 مقاله فارسی و 6 مقاله انگلیسی به استخراج کلمات و عبارات کلیدی از متون فارسی پرداخته‌اند. روش بیشتر این مقالات استفاده از اطلاعات آماری و زبان‌‌‌شناختی بوده است. اکثر این مقالات یا در روششناسی انتخاب‌شده ایراد دارند و یا نویسندگان نتوانسته‌اند ایده پیشنهادی خود را به‌وضوح برای خواننده تبیین نمایند. در بسیاری از مقالات از مجموعه داده استانداردی برای ارزیابی سیستم استفاده نشده و نحوه محاسبه معیارهای ارزیابی مبهم یا دارای اشکال است. در مجموع، به‌جز 3 مقاله که روش اجرا‌شده را به‌‌نحو نسبتا قابل‌قبولی گزارش کردهاند، سایر مقالات قابلیت تکرار‌پذیری و تعمیم ندارند. این است که نمی‌توان از آن‌ها به‌عنوان معیار پایه‌‌ای برای ارزیابی سیستم‌های آینده استفاده کرد یا از ایده مطرح‌شده در آن‌ها با اطمینان در ساخت و توسعه نرم‌افزارهای کاربردی و عملی در حوزه استخراج کلمات کلیدی استفاده نمود.
Keyword and phrase extraction is a prerequisite of many natural language processing tasks. However, a review on the related Persian and English literature showed that a few studies have already been done on how to extract keywords and phrases from Persian texts. Thus, aiming to shed light on the research status of Keyword and phrase extraction from Persian texts, the present study reviews the Persian and English publications which have assessed their research ideas over Persian texts. We also focus on each of the studies to challenge their methodologies, implementations and evaluation methods and measures.
To our knowledge, a total number of 14 Persian and 6 English papers exist which have worked on the extraction of Persian keywords and phrases. Investigating on the papers revealed that they were mostly based on statistical and linguistic information. A majority of the papers suffered from the lack of either appropriate methodologies or lucid explanation of their research ideas. They generally used non-standard datasets and vague or problematic metrics to evaluate the experimental systems. Generally speaking, except 3 papers that appropriately reported their proposed methods, the other papers lacked reproducibility and generalizability. Hence, their results cannot be confidently used as a benchmark in evaluating future works, and their proposed ideas cannot be employed in developing applications for extraction of key words and phrases from Persian texts.
(
, 
, 
)
