በHadoop ውስጥ የውሂብ አካባቢያዊነት እንዴት ይከናወናል?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

የውሂብ አካባቢያዊነት ውስጥ ሃዱፕ . አብዛኞቹ ቃላቶች ለ 5 Lacs ወይም ከዚያ በላይ ጊዜያት የተደጋገሙበትን የ Wordcount ምሳሌን ውሰድ። እንደዚያ ከሆነ ከ Mapper ምዕራፍ በኋላ፣ እያንዳንዱ የካርታፐር ውፅዓት በ5 Lacs ክልል ውስጥ ቃላት ይኖረዋል። ይህ የተሟላ የካርታ ምርትን ወደ LFS የማጠራቀም ሂደት እንደ ይባላል የውሂብ አካባቢያዊነት.

ይህንን ከግንዛቤ ውስጥ በማስገባት፣ በHadoop ውስጥ የውሂብ አካባቢያዊ ማድረግ ምንድነው?

ጽንሰ-ሐሳብ ውሂብ አካባቢ በ Hadoop ውሂብ አካባቢ በ ካርታ ቀንስ ስሌቱን ወደ ትክክለኛው ቦታ የማንቀሳቀስ ችሎታን ያመለክታል ውሂብ ትልቅ ከመንቀሳቀስ ይልቅ በመስቀለኛ መንገድ ላይ ይኖራል ውሂብ ወደ ስሌት. ይህ የኔትወርክ መጨናነቅን ይቀንሳል እና አጠቃላይ የስርዓቱን ፍሰት ይጨምራል።

እንዲሁም ትልቅ ውሂብ እንዴት ይከማቻል? ብዙ ሰዎች HDFS ወይም Hadoop Distributed File System ከHadoop ጋር በቀጥታ ያዛምዳሉ ውሂብ መጋዘኖች. ኤችዲኤፍኤስ መረጃን በትንሽ ብሎኮች በተሠሩ ስብስቦች ውስጥ ያከማቻል። እነዚህ ብሎኮች ናቸው። ተከማችቷል በቦታው ላይ አካላዊ ማከማቻ እንደ የውስጥ ዲስክ አንጻፊዎች ያሉ አሃዶች።

እንዲያው፣ ውሂብ በHadoop ውስጥ እንዴት ይከማቻል?

በ ሃዱፕ ክላስተር፣ የ ውሂብ በኤችዲኤፍኤስ ውስጥ እና MapReduce ስርዓት በክላስተር ውስጥ ባሉ ሁሉም ማሽኖች ላይ ተቀምጠዋል። ውሂብ ነው። ተከማችቷል ውስጥ ውሂብ በ DataNodes ላይ ያግዳል. HDFS እነዚያን ይደግማል ውሂብ ብሎኮች፣ አብዛኛውን ጊዜ 128 ሜባ መጠን ያላቸው፣ እና ያሰራጫቸዋል ስለዚህም በክላስተር ውስጥ በበርካታ አንጓዎች ውስጥ እንዲባዙ።

ፋይሎች በኤችዲኤፍኤስ ውስጥ እንዴት ይከማቻሉ?

ኤችዲኤፍኤስ ያጋልጣል ሀ ፋይል የስርዓት ስም ቦታ እና የተጠቃሚ ውሂብ እንዲሆን ይፈቅዳል ተከማችቷል ውስጥ ፋይሎች . ከውስጥ፣ አ ፋይል ወደ አንድ ወይም ከዚያ በላይ ብሎኮች የተከፈለ እና እነዚህ ብሎኮች ናቸው። ተከማችቷል በ DataNodes ስብስብ ውስጥ. የስም ኖድ ያስፈጽማል ፋይል የስርዓት ስም ቦታ እንደ መክፈት፣ መዝጋት እና እንደገና መሰየም ያሉ ስራዎች ፋይሎች እና ማውጫዎች.