مطلب ۱ : داده!
ما در عصر داده زندگی می کنیم. تخمین اینکه چه حجم داده الکترونیکی وجود دارد، کار آسانی نیست.
برخی از منابعی که روزانه داده بسیار زیادی تولید می کنند عبارتند از:
• بورس نیویورک روزانه حدود یک ترا بایت داده مربوط به معاملات جدید تولید می کند.
• فیسبوک حدوداً ده میلیارد تصویر در حدود یک پتا بایت داده در خود جای داده است.
• اینترنت آرکایو در حدود دو پتا بایت داده نگهداری می کند و در حال رسیدن به مرز بیست ترا بایت در ماه می باشد.
بنابراین ما با حجم داده بسیار زیادی مواجه هستیم. باتوجه به اینکه بیشترین حجم آن در اختیار دنیای وب (مانند موتور های جستجو)، مراکز علمی و مالی می باشد، آیا در اصطلاح "داده حجیم" می تواند روی افراد و یا شرکت های کوچک تاثیر گذار باشد؟
ما بر این باور هستیم که تاثیر خواهد گذاشت. بطور مثال، یک عکاس حرفه ای قدیمی را در نظر بگیرید. در صورتیکه بخواهیم تمام کارهای او اعم از عکس و یا فیلم را با فرمت بالا ذخیره سازی کنیم، نهایتاً در حدود ده گیگا بایت داده خواهد شد. در مقایسه، امروزه افراد به آسانی هر چه بیشتر در مدت زمان کوتاهی چندین گیگا بایت تصویر و یا فیلم ایجاد می نمایند.
بصورت کلی، حجم داده الکترونیکی فردی به شدت در حال افزایش است. شرکت مایکروسافت در این زمینه (آرشیو اطلاعات فردی) پروژه تحقیقاتی با نام Microsoft Research’s MyLifeBits دارد. در این پروژه تمامی تعاملات فردی اعم از تماس تلفنی، پست الکترونیک، مستندات و یک تصویر به ازای هر دقیقه بصورت الکترونیکی جمع آوری می شود. نتیجه بدست آمده حاکی از آن است که آنان به زودی با حجم انبوهی از داده مواجه خواهند شد.
هرچند طبق آمار حجم داده فردی رو به افزایش است، تا به حال بیشترین حجم داده تولید شده توسط سخت افزار های گوناگون صورت گرفته است. بطور مثال، لاگ ها، شبکه های حسگر، جی پی اس ها، تراکنش های مالی.
نکته مهم: با توجه به حجم داده ای که سالانه در دسترس عموم قرار می گیرد، در آینده موفقیت از آن گروهی است که با مهارت خود به استخراج "داده ارزشمند" می پردازد.
برای مثال، آمازون سرویسی را با عنوان "مجموعه های داده عمومی" با هدف ارتقاء سطح فضای اطلاعاتی رایگان مشترک ایجاد کرده است. این نوع سرویس ها قابلیت ترکیب بین چندین منبع اطلاعاتی را فراهم می سازند که بواسطه آن می توان برنامه های کاربردی جدیدی را تولید نمود.
عنوان می شود که "داده بیشتر معمولا الگوریتم های قوی تر را مغلوب می کند"، مثلا تشخیص فیلم و یا موسیقی دلخواه یک فرد. هر اندازه یک الگوریتم پیچیده و سخت باشد، امکان مغلوب شدن آن با تزریق داده بیشتر امکان پذیر خواهد بود.
امروزه "داده حجیم" به عنوان یک خبر خوب و مفید مطرح می باشد، اما در مقابل نگهداری و استفاده از آن کاری بس دشوار خواهد بود.
Hadoop: The Definitive Guide by Tom White
استفاده از این مطلب با ذکر منبع بلامانع می باشد.