مطلب ۳ (قسمت دوم) : مقایسه با دیگر سیستم ها

محاسبات شبکه ای

از جمله روش های محاسباتی پیشرفته که در آن داده حجیم با سرعت بالا مورد محاسبه قرار می گیرد، محاسبات شبکه ای می باشد. در این روش، ابتدا کار در کلاستری از نودها توزیع می گردد، که هر کدام دسترسی مستقیم به یک فایل سیستم مشترک تحت SAN دارند. این روش در پردازش های سنگین به خوبی عمل می کند، اما عیب آن زمانی ظاهر می شود که یک نود حجم زیادی داده را واکشی نماید (اینجا نقطه ای است که MapReduce قوی ظاهر می شود). در این حالت پهنای باند شبکه خود تبدیل به یک معظل می گردد و باعث می شود تا اتمام عمل واکشی، آن نود بیکار منتظر بمانند.

در MapReduce تمرکز بر جای دادن داده در کنار نود پردازش کننده می باشد، بنابراین از آنجایی که دسترسی محلی است، سرعت پردازش بالا خواهد بود. این ویژگی مهم را محلی سازی داده (Data Locality) می نامند. باتوجه به اینکه پهنای باند شبکه مهمترین منبع در یک دیتاسنتر است، MapReduce به گونه ای پیاده سازی شده است تا بتواند آن را از طریق مدل سازی ساختار شبکه به بهترین نحو محافظت نماید. توجه داشته باشید که این چیدمان مانع انجام تحلیل های سنگین در MapReduce نمی شود.