یک کلاستر HDFS دارای دو نوع نود می باشد که بر اساس یک الگوی master-worker طراحی شده اند: یک namenode به عنوان master و تعدادی datanode به عنوان namenode .worker وظیفه مدیریت فضای عملیاتی فایل سیستم را برعهده دارد. این موجود از درخت فایل سیستم و فراداده (Metadata) تمامی فایل ها و پوشه های موجود روی درخت را نگهداری می نماید. اطلاعات همواره در قالب دو فایل روی دیسک محلی نگهداری می شود: namespace image و edit log. همچنین namenode تمامی datanode هایی که بلاک های مربوط به یک فایل روی آنها قرار گرفته را می شناسد، بنابراین نیازی به نگهداری موقعیت بلاک ها ندارد زیرا هنگام بارگذاری سیستم اطلاعات مورد نیاز در مورد آنها را از طریق datanode های مربوطه استخراج می نماید.
عصر هدوپ
آشنایی با Big Data و کار با Hadoop
کلمات کلیدی
آخرین مطالب
- ۹۳/۰۹/۱۹مطلب ۷ : آموزش نصب و راه اندازی هدوپ
- ۹۳/۰۹/۱۰مطلب ۶ (قسمت سوم) : MapReduce
- ۹۳/۰۹/۰۵مطلب ۶ (قسمت دوم) : MapReduce
پیوندهای روزانه
پیوندها
کوچکترین واحد خواندن و یا نوشتن داده در دیسک را بلاک می نامند. فایل سیستم های معمول که با یک دیسک ارتباط دارند، داده را در تعدادی بلاک سطح بالا تقسیم بندی می نمایند. معمولا اندازه یک بلاک در فایل سیستم چند کیلو بایت است در حالیکه اندازه یک بلاک در دیسک 512 بایت می باشد. البته این نوع تقسیم بندی از دید کاربران پوشیده می باشد.
فایل سیستم توزیع شده هدوپ (HDFS) هم از مفهوم بلاک استفاده می نماید، اما با این تفاوت که بلاک ها اندازه بزرگتری دارند(بصورت پیش فرض 64 مگابایت). همانند یک فایل سیستم معمول، فایل ها در HDFS به بلاک های معینی تقسیم شده و بصورت جداگانه نگهداری می شوند. همچنین برخلاف یک فایل سیستم معمول، درصورتیکه که یک فایل در HDFS کوچکتر از یک بلاک باشد، باقی مانده فضای آن بلاک در اختیار فایل های دیگر قرار خواهد گرفت. یکی از دلایل بزرگ بودن اندازه بلاک در HDFS:به حداقل رساندن هزینه جستجوی آنها هنگام خواندن و یا نوشتن می باشد.