<

عصر هدوپ

آشنایی با Big Data و کار با Hadoop

عصر هدوپ

آشنایی با Big Data و کار با Hadoop

عصر هدوپ
بایگانی

۲ مطلب با کلمه‌ی کلیدی «Comparison» ثبت شده است

محاسبات شبکه ای

از جمله روش های محاسباتی پیشرفته که در آن داده حجیم با سرعت بالا مورد محاسبه قرار می گیرد، محاسبات شبکه ای می باشد. در این روش، ابتدا کار در کلاستری از نودها توزیع می گردد، که هر کدام دسترسی مستقیم به یک فایل سیستم مشترک تحت SAN دارند. این روش در پردازش های سنگین به خوبی عمل می کند، اما عیب آن زمانی ظاهر می شود که یک نود حجم زیادی داده را واکشی نماید (اینجا نقطه ای است که MapReduce قوی ظاهر می شود). در این حالت پهنای باند شبکه خود تبدیل به یک معظل می گردد و باعث می شود تا اتمام عمل واکشی، آن نود بیکار منتظر بمانند.

در MapReduce تمرکز بر جای دادن داده در کنار نود پردازش کننده می باشد، بنابراین از آنجایی که دسترسی محلی است، سرعت پردازش بالا خواهد بود. این ویژگی مهم را محلی سازی داده (Data Locality) می نامند. باتوجه به اینکه پهنای باند شبکه مهمترین منبع در یک دیتاسنتر است، MapReduce به گونه ای پیاده سازی شده است تا بتواند آن را از طریق مدل سازی ساختار شبکه به بهترین نحو محافظت نماید. توجه داشته باشید که این چیدمان مانع انجام تحلیل های سنگین در MapReduce نمی شود.

۲ نظر موافقین ۱ مخالفین ۰ ۰۷ آبان ۹۳ ، ۰۹:۵۹
مهدی شهیدی صادقی

روش MapReduce به یک نوع مکانیزم brute-force شباهت دارد که در آن به ازای هر درخواست کل مجموعه داده و یا حداقل قسمت قابل توجهی از آن مورد پردازش قرار می گیرد. MapReduce پردازشگری است که می تواند درخواست ها را بصورت گروهی و یا موردی بروی داده با سرعت قابل قبولی اجرا نماید. او نگاه افراد را نسبت به داده تغییر می دهد و این فرصت را فراهم می سازد تا با داده کارهای جدیدی انجام دهند.

برای مثال،Mailtrust ، برای پردازش لاگ ها از هدوپ استفاده نموده است. این شرکت تصمیم گرفته بود تا کاربران خود را در موقعیت های مختلف جغرافیایی مورد ارزیابی قرار دهد.

به نقل از Mailtrust: 

با توجه به ارزشمند بودن این نوع داده، ما یک عملیات ماهانه MapReduce ایجاد کرده ایم تا از نتایج آن به منظور تصمیم گیری در مورد اضافه کردن میل سرور های جدید در نقاط مختلف جغرافیایی استفاده نماییم.

۱ نظر موافقین ۱ مخالفین ۰ ۰۵ آبان ۹۳ ، ۱۹:۲۵
مهدی شهیدی صادقی