مطلب ۵ : هدوپ و اکوسیستم آن

از آنجایی که هدوپ شهرت خود را به واسطه وجود قسمت های اصلی اش یعنی فایل سیستم توزیع شده (HDFS) و MapReduce بدست آورده است، باعث ایجاد الگویی در فضای محاسبات توزیع شده و پردازش داده حجیم شده است، که به واسطه آن مجموعه ای از پروژه های مرتبط به منظور هرچه کاملتر شدن هدوپ شکل گرفته است. بیشتر این پروژه توسط Apache Software Foundation حمایت می شوند. 

در ادامه برخی از آنها به اختصار توضیح داده شده اند:

Common

مجموعه ای از مولفه ها و سرویس ها برای فایل سیستم های توزیع شده و مفاهیم عمومی I/O نظیر Serialization،

(Java Remote Procedure Call (RPC می باشد.

مطلب ۴ (قسمت دوم) : تاریخچه هدوپ

هدوپ در !Yahoo

برای ساخت یک موتور جستجو اینترنتی نیاز به حجم زیادی داده و تعداد زیادی ماشین به منظور پردازش آن می باشد. موتور جستجوی !Yahoo از چهار مولفه اصلی تشکیل شده است: Crawler، دانلود کردن صفحات وب از سرورهای گوناگون؛ WebMap، ساختن گراف از مسیرهای شناخته شده وب؛ Indexer، ساختن شاخص معکوس از بهترین صفحات؛ Runtime، پاسخ دادن به درخواست های کاربر.WebMap  گرافی است که از حدودا یک تریلیون یال که هر کدام بیانگر یک Web Link و یکصد میلیارد نود که هر کدام بیانگر URLهای منحصر به فرد می باشد، تشکیل شده است. ساخت و تحلیل گرافی با این وسعت مستلزم صرف وقت و هزینه بسیاری است. در اوایل 2005، زیرساخت WebMap که Dreadnaught نامیده می شد، نیاز به طراحی مجدد به منظور نگهداری نودهای بیشتر داشت. طراحی فعلی آن بدون هیچگونه تغییری از 20 نود به 600 نود با موفقیت ارتقاء پیدا کرده بود. Dreadnaught از جهات بسیاری شبیه به MapReduce می باشد، اما بسیار منعطف تر است. بنابراین، برنامه های تحت WebMap با حداقل تغییرات می توانستند از MapReduce استفاده نمایند.  

مطلب ۴ (قسمت اول) : تاریخچه هدوپ

هدوپ توسط آقای Doug Cutting اختراع شده است، ایشان پیش تر Apache Lucene را که به عنوان یک کتابخانه پرکاربرد جستجوی متن می باشد، ایجاد کرده است. اصل هدوپ به Apache Nutch ، موتور جستجوی تحت وب متن بازی که خودش قسمتی از پروژه Lucene است، برمی گردد.    

هدوپ یک کلمه اختصاری نیست، نامی است که فرزند ایشان بروی یک فیل عروسکی زرد رنگ توپولو گذاشته است.

ساخت کامل یک موتور جستجوی وب، کار دشواری می باشد. نه تنها تولید نرم افزاری که بتواند وب سایت های متعددی را بررسی نموده و برای آنها شاخص تولید نماید مشکل است، بلکه این کار بدون همراهی یک تیم عملیاتی کارآمد امکان پذیر نمی باشد. Mike Cafarella و Doug Cutting برآورد کرده بودند سیستمی که بتواند شاخص میلیاردی تولید و نگهداری نماید در حدود نیم میلیون دلار هزینه سخت افزاری دارد و در حدود سی هزار دلار هزینه نگهداری آن بصورت ماهانه می باشد. اما با همه این مسائل، آنها معتقد بودند که کار بسیار ارزنده ای خواهد بود زیرا می تواند باعث هر چه بهتر شدن الگوریتم های موتورهای جستجو گردد.

مطلب ۳ (قسمت دوم) : مقایسه با دیگر سیستم ها

محاسبات شبکه ای

از جمله روش های محاسباتی پیشرفته که در آن داده حجیم با سرعت بالا مورد محاسبه قرار می گیرد، محاسبات شبکه ای می باشد. در این روش، ابتدا کار در کلاستری از نودها توزیع می گردد، که هر کدام دسترسی مستقیم به یک فایل سیستم مشترک تحت SAN دارند. این روش در پردازش های سنگین به خوبی عمل می کند، اما عیب آن زمانی ظاهر می شود که یک نود حجم زیادی داده را واکشی نماید (اینجا نقطه ای است که MapReduce قوی ظاهر می شود). در این حالت پهنای باند شبکه خود تبدیل به یک معظل می گردد و باعث می شود تا اتمام عمل واکشی، آن نود بیکار منتظر بمانند.

در MapReduce تمرکز بر جای دادن داده در کنار نود پردازش کننده می باشد، بنابراین از آنجایی که دسترسی محلی است، سرعت پردازش بالا خواهد بود. این ویژگی مهم را محلی سازی داده (Data Locality) می نامند. باتوجه به اینکه پهنای باند شبکه مهمترین منبع در یک دیتاسنتر است، MapReduce به گونه ای پیاده سازی شده است تا بتواند آن را از طریق مدل سازی ساختار شبکه به بهترین نحو محافظت نماید. توجه داشته باشید که این چیدمان مانع انجام تحلیل های سنگین در MapReduce نمی شود.

مطلب ۳ (قسمت اول) : مقایسه با دیگر سیستم ها

روش MapReduce به یک نوع مکانیزم brute-force شباهت دارد که در آن به ازای هر درخواست کل مجموعه داده و یا حداقل قسمت قابل توجهی از آن مورد پردازش قرار می گیرد. MapReduce پردازشگری است که می تواند درخواست ها را بصورت گروهی و یا موردی بروی داده با سرعت قابل قبولی اجرا نماید. او نگاه افراد را نسبت به داده تغییر می دهد و این فرصت را فراهم می سازد تا با داده کارهای جدیدی انجام دهند.

برای مثال،Mailtrust ، برای پردازش لاگ ها از هدوپ استفاده نموده است. این شرکت تصمیم گرفته بود تا کاربران خود را در موقعیت های مختلف جغرافیایی مورد ارزیابی قرار دهد.

به نقل از Mailtrust: 

با توجه به ارزشمند بودن این نوع داده، ما یک عملیات ماهانه MapReduce ایجاد کرده ایم تا از نتایج آن به منظور تصمیم گیری در مورد اضافه کردن میل سرور های جدید در نقاط مختلف جغرافیایی استفاده نماییم.

مطلب ۲ : نگهداری داده و تحلیل

از آنجایی که ظرفیت ذخیره سازی هارد دیسک ها در سال های اخیر بصورت قابل توجهی افزایش یافته، اما سرعت دسترسی (مدت زمانی که به جهت خواندن داده از روی هاردیسک صرف می شود) آنها به آن اندازه رشد نکرده است. 

یک هارد دیسک معمولی سال 1990 توانایی ذخیره سازی داده تا حدود 1,370 MB با سرعت دسترسی در حدود 4.4 MB/s را داشت. بنابراین تمامی داده آن در حدود پنج دقیقه واکشی می شد. با گذشت بیست سال، هاردیسک ها در حدود یک ترا بایت داده را با سرعت دسترسی در حدود 100 MB/s نگهداری می نمایند، که در این حالت کل داده در حدود دو ساعت و نیم واکشی می شود.

برای واکشی نمودن کل داده، این زمان بسیار زیادی می باشد که البته نوشتن همان حجم داده به مراتب زمان زیاد تری خواهد برد. یک راهکار ساده به منظور به حداقل رساندن زمان واکشی، استفاده از چند هاردیسک بصورت همزمان می باشد. برای مثال، اگر ما یک ترابایت داده را بین یک صد هاردیسک تقسیم کنیم، در کمتر از دو دقیقه می توانیم کل آن را واکشی نماییم.

تنها استفاده از یک صدم یک هاردیسک کار درستی نمی باشد. اما می توانیم به واسطه آن، یک صد مجموعه داده یک ترابایتی را به منظور دسترسی کاربران به اشتراک بگذاریم که این خود مدت زمان عملیات تحلیل را کوتاه تر خواهد کرد.  

مطلب ۱ : داده!

ما در عصر داده زندگی می کنیم. تخمین اینکه چه حجم داده الکترونیکی وجود دارد، کار آسانی نیست. 

برخی از منابعی که روزانه داده بسیار زیادی تولید می کنند عبارتند از:

• بورس نیویورک روزانه حدود یک ترا بایت داده مربوط به معاملات جدید تولید می کند.

• فیسبوک حدوداً ده میلیارد تصویر در حدود یک پتا بایت داده در خود جای داده است.

• اینترنت آرکایو در حدود دو پتا بایت داده نگهداری می کند و در حال رسیدن به مرز بیست ترا بایت در ماه می باشد.

بنابراین ما با حجم داده بسیار زیادی مواجه هستیم. باتوجه به اینکه بیشترین حجم آن در اختیار دنیای وب (مانند موتور های جستجو)، مراکز علمی و مالی می باشد، آیا در اصطلاح "داده حجیم" می تواند روی افراد و یا شرکت های کوچک تاثیر گذار باشد؟