تحلیلگر تصریفی فارسی معاصر Journal Article

Writer: حیدرپور، داوود ؛ سبط، الهام سادات ؛ بی جن خان، محمود ؛ صالحی، مصطفی ؛ ویسی، هادی ؛

پردازش و مدیریت اطلاعات تابستان 1400 - شماره 105 Ranking International (Ministry of Science/ISC (‎25 page(s) - From 945 to 969 )

Keywords: آموزش فارسی فارسی معاصر پردازش زبانی تحلیل‌گر تصریفی گونه غیررسمی فارسی مبدل حالت محدود inflectional analyzer informal Persian register Persian teaching. contemporary Persian Computational linguistics Fst

fa en

Abstract:

در سال های اخیر، کاربرد گونه نوشتاری غیررسمی زبان فارسی به دلیل گسترش روزافزون فضای مجازی و شبکه های اجتماعی و تمایل کاربران به نزدیک کردن زبان نوشتار به گفتار رشد چشمگیری داشته است. با وجود این، ابزارهای پردازش این گونه زبانی به میزان لازم توسعه داده نشده است. تحلیلگرهای تصریفی از جمله ابزارهایی است که در پردازش زبانی کاربرد وسیعی دارد و تاکنون برای گونه غیررسمی طراحی و پیاد هسازی نشده است. با توجه به ای نکه گونه نوشتاری غیررسمی در کنار واژگان و قواعد صرفی و نحوی مختص ب هخود، در بخشی از واژه ها و ساختارها با گونه رسمی مشترک است، در این پژوهش با پوشش فارسی رسمی و غیررسمی اولین ابزار تحلیل تصریفی فارسی معاصر برای همه اقسام واژه توسعه داده شده و تاش شده همه ساختارهای تصریفی واژ ههای فارسی غیررسمی پوشش داده شود. این ابزار ب هصورت قاعد همند و مستقل از بافت و با بهر هگیری از مبدل حالت محدود، پی بستها و وندهای تصریفی رسمی و غی ررسمی را در واژ ههای زبان شناسایی و تحلیل کرده، ستا کهای رسمی و غیررسمی را نیز استخراج می کند. به منظور پوشش دادن تمام ساخت ها و حال تهای تصریفی، با توجه به رویکرد مستقل از بافت، الگوریتم برای هر واژه، تمام خوان شها و معانی گوناگونی را که می تواند بسته به قرارگیری در باف تهای گوناگون داشت ه باشد، تحلیل و ارائه م یکند. به منظور استخراج و بررسی واژگان و قواعد تصریفی و نگارشی گونه غیر رسمی، پیکره فارسی معاصر از سیاق ها و زیرسیا قهای گوناگون این گونه زبانی تهیه شده و در طراحی و آزمون تحلیلگر مورد استفاده قرار گرفت. آزمون تحلیلگر با استفاده از 1786 واژه یکتای استخراج شده از پیکره، 96 درصد را در معیار اف به دست داده است. از این ابزار م یتوان در انواع تحلیل ها و / نتیجه 67 کاربردهای پردازش رایانه ای زبان فارسی و همچنین در آموزش فارسی، ب هویژه محاوره فارسی به غیر فارسی زبانان استفاده کرد.

In recent years, the use of informal writing in Persian has grown significantly due to the increasing expansion of cyberspace and social media and platforms, and the tendency of users to bring the written language closer to colloquial speech. But on the other hand, proper tools to process this language register are not developed very much. One of the tools for low level processing of textual data is an inflectional analyzer; however, such tools are not developed for this register yet. Informal words have their own structures, stems, morphemes and clitics and they also make use of formal structures and units. Moreover, this register also consists of formal words so any analyzer for informal words should have the potential to analyze formal words, too. In this paper, it is tried to cover all inflectional structures of informal Persian language to build an inflectional analyzer. A corpus of most of its known sub-registers is constructed to extract words, morphemes and inflectional rules and morphotactics. A part of this corpus is used for testing the analyzer. After extracting 1786 unique words of the test part, inflectional analyzer f-measure is equal to 97.67%. This tool can be used in computational processing of Persian language and it can also be used in teaching Persian specifically colloquial Persian to non-Persian learners.

Download citation file :
(پژوهیار, , , )

Download PDF
Downlaod HTML

Shortlink:

Page: