Abstract:
زبان تاجیکی، یا به شکل درستتر گویش تاجیکی زبان فارسی، از گونههای زنده زبان فارسی است که در کشور تاجیکستان رواج دارد. مهمترین تفاوت فارسی رایج در ایران با فارسی تاجیکی در سیستم نوشتار است که این تفاوت سبب ایجاد گسست فرهنگی میان دو ملتی که گفتار هم را متوجه می شوند، شده است. ساخت سامانهای برای تبدیل این دو نوشتار می تواند به نزدیکتر کردن این دو ملت کمک شایان ذکری کند. در گذشته تلاشهایی برای ساخت نویسهگردان رایانشی بین این دو گونه نوشتار صورت گرفته است. این سامانهها با استفاده از روشهای سنتی و قانونمحور این کار را انجام میدادند و برای همین خطاهای قابل توجهی در خروجی خود دارند. در این پژوهش تلاش شده است که با کمک روشهای یادگیری ژرف این نویسهگردانی انجام شود. در دهه گذشته این روشها تحول عظیمی در زبانشناسی رایانشی ایجاد کردهاند. در این پژوهش ابتدا پیکره موازی میان فارسی و تاجیکی جمعآوری شده است. سپس با کمک مدلهای رشته به رشته یک سامانه نویسهگردانی با عملکرد بهتر نسبت به سامانههای گذشته ایجاد شده است.
The Tajik language, also known as Tajiki Persian, is a variation of Persian (Farsi) spoken in Tajikistan. One of the main distinctions between Iranian Persian and Tajiki Persian is the writing script. Since the early 1900s, Tajiki has been written in the Cyrillic script. Although the difference between spoken Tajiki and spoken Persian is not significant, the script difference caused a culturalbreak between these two nations making many cultural resources (e.g., poems, stories, etc.) unavailable for the newer generations. An automatic and accurate transliterator model can again fill the gap between Persians and Tajiks and facilitate transfer learning between these two language variations. The efforts on Persian-Tajiki transliteration have primarily been rule-based and context-independent, causing many errors. Deep learning methods, particularly neural language models, revolutionized computational linguistics in the last decade by providing language understanding through contextualized representations. In this work, we create a Persian-Tajiki transliteration dataset for training and evaluation purposes. We also train an accurate neural sequence-to-sequence model transliterating between Tajiki-Persian and Persian-Tajiki.
Machine summary:
فاجیک : مدل شبکه عصبی ژرف رشته بـه رشـته و منـابع زبـانی مـرتبط بـرای نویسه گردانی میان تاجیکی و فارسی / صدرایی جواهری ، محمدعلی دانشجوی کارشناسی ارشد هوش مصنوعی دانشکده مهندسی کـامپیوتر شریف ، تهران ، ایران / عسگری ، احسان الدین استادیار گروه هوش مصنوعی دانشکده مهندسـی کـامپیوتر شـریف ، تهـران / ربیعی ، حمیدرضا ایران استاد گروه هوش مصنوعی دانشکده مهندسی کامپیوتر شریف ، تهران ، ایران زبان تاجیکی، یا به شکل درست تر گویش تاجیکی زبان فارسی، از گونـه های زنـده زبان فارسی است که در کشور تاجیکسـتان رواج دارد.
مهم تـرین تفـاوت فارسـی رایـج در ایران با فارسی تاجیکی در سیستم نوشـتار اسـت کـه ایـن تفـاوت سـبب ایجـاد گسسـت فرهنگی میان دو ملتی که گفتار هم را متوجه میشوند، شده است .
rule-based چکیده : مدل های رشته به رشته یک سامانه نویسـه گردانی بـا عملکـرد بهتـر نسـبت بـه سـامانه های گذشته ایجاد شده است .
بـا وجـود ایـن کـه در کلمات ، نوشتار و دستور زبان این دو دارای تفاوت هـایی نسـبت بـه یکـدیگر هسـتند، فهـم متقابل ١ بین متکلمین فارسی ایرانی و فارسی تاجیکی وجود دارد.
برای همین بـا ایـن کـه تلفظ کلمات در گذر زمان دچار تغییر شده اند نوشتار آن ها شکل قدیمی خود را حفظ کـرده است .
برای مثال کلمه «تاریخ » در زبان تاجیکی دارای یک «ع » ساکن در تلفـظ خـود اسـت کـه در نوشتار نیز نوشته میشود: مثال ٩) таърих /tæʔɾiχ/ تاریخ ٣ روش شناسی در این پژوهش از رویکرد پیکره محور استفاده شده اسـت .
Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12).