خلاصة:
زیرساختها و بستر نقل وانتقال نسل آینده برای کلان داده، با چالش ها و مساله های متفاوتی روبرو هستند. از این رو معماری ها و راه حلهای متفاوتی نیز در این زمینه توسط فراهم کنندگان سرویس، ارایه می شود که البته همگی آنها در اهداف مشترکی چون دستیابی به انعطاف پذیری، قابلیت گسترش و صرفه بیشتر، مشترک می باشند. داده های عظیم بدلیل آنکه میزان بسیار بالایی از منابع شبکه را بخود اختصاص می دهد می توانند باعث بروز ازدحام و متعاقبا کاهش بهره وری شبکه و زمان تحویل بسته ها شود. از این رو لازم است جریان های ترافیکی مربوط به داده های عظیم مورد شناسایی قرارگرفته و مسیریابی آنها در شبکه ها با در نظرگرفتن ماهیت این نوع ترافیک صورت گیرد. به همین منظور در این پژوهش روشی جهت بهبود حل ترافیک شبکه با استفاده از ترکیب کننده تطبیقی Combine در تابع Map Reduce معرفی می گردد.
ملخص الجهاز:
به همین منظور در این پژوهش روشی جهت بهبود حل ترافیک شبکه با استفاده از ترکیب کننده تطبیقی Combine در تابع Map Reduce معرفی می‌گردد.
[9] یکی از مهمترین مسایلی که در رابطه با مدیریت داده های عظیم وجود دارد انتقال این داده ها جهت ذخیره سازی یا پردازش توزیع شده است.
در چهار چوبهای نرم افزاری که برای پردازش و ذخیره سازی داده های عظیم طراحی شده اند ،از قبیل Hadoop و MapReduce داده‌ها بر روی تعداد بسیارزیادی سرورتوزیع شده و نتایج حاصل توسط تعدادی سرور دیگر تجمیع می شود و درصورت نیاز مجددا بین سرورهای دیگر توزیع می گردد.
) شکل1-سطح بالای پیاده سازی Hadoop 1 -2 خوشه(کلاستر) Hadoop نرم افزار هادوپ،که شامل یک سیستم فایل توزیعی شناخته شده به عنوان سیستم فایل توزیع شده Hadoop (HDFS:Hadoop Disturbuted File System) وMapReduce است،یک فناوری مهم کلان داده می باشد که فراهم کننده زیر ساخت سیستم فایل قابل توسعه بوده و امکان توسعه جهت عملیات پرس و جو،دسترسی و مدیریت داده ها به شکل بسیار سریع در شبکه های بزرگ و کلان داده را در اختیار قرار میدهد.
برای فراهم کردن شرایط استفاده از هادوپ،شبکه باید شرایطی به این شرح داشته باشد:[5] -محلی بودن داده ها: کار بر روی داده ها،توسط نودهای توزیع شده Hadoop که فعالیتهای خود را بطور موازی انجام می دهند، باعث ایجاد ترافیک شرق به غرب قابل توجهی می شود که نامناسب بودن ارتباطات شبکه ای تاثیری منفی بر آن خواهد داشت.
در اینجا روشی نوین برای بهبود کارایی فرآیند MapReduceارایه میشود که از ترکیب کننده تطبیقی استفاده می کند و بر مبنای میزان ترافیک شبکه فعال می شود.
و بنابراین استفاده از این تابع باعث کاهش حجم داده های عبوری از شبکه می شود.
(
, 
, 
)
