በ Scala ውስጥ RDD ምንድን ነው?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

መቋቋም የሚችል የተከፋፈሉ የውሂብ ስብስቦች ( አርዲዲ ) የስፓርክ መሰረታዊ የመረጃ መዋቅር ነው። የማይለወጥ የተከፋፈለ የነገሮች ስብስብ ነው። አርዲዲዎች ማንኛውንም አይነት Python፣ Java፣ ወይም ሊይዝ ይችላል። ስካላ ነገሮች፣ በተጠቃሚ የተገለጹ ክፍሎችን ጨምሮ። በመደበኛነት፣ ኤን አርዲዲ ተነባቢ-ብቻ፣ የተከፋፈለ የመዛግብት ስብስብ ነው።

እንዲሁም ጥያቄው በ RDD እና DataFrame መካከል ያለው ልዩነት ምንድን ነው?

አርዲዲ – አርዲዲ በብዙ ማሽኖች ላይ የሚሰራጩ የመረጃ አካላት ስብስብ ነው። በውስጡ ክላስተር አርዲዲዎች ውሂብን የሚወክሉ የጃቫ ወይም ስካላ ነገሮች ስብስብ ናቸው። የውሂብ ፍሬም - ኤ የውሂብ ፍሬም በተሰየሙ አምዶች የተደራጀ የተከፋፈለ የመረጃ ስብስብ ነው። በፅንሰ-ሀሳብ ከጠረጴዛ ጋር እኩል ነው በ ሀ ተዛማጅ የውሂብ ጎታ.

በተጨማሪም፣ RDD እንዴት ይሰራጫል? የሚቋቋም ተሰራጭቷል። የውሂብ ስብስቦች ( አርዲዲዎች ) እነሱ ሀ ተሰራጭቷል በማህደረ ትውስታ ውስጥ ወይም በተለያዩ የክላስተር ማሽኖች ዲስኮች ላይ የተከማቹ ዕቃዎች ስብስብ። ነጠላ አርዲዲ እነዚህ ክፍልፋዮች በተለያዩ የክላስተር ማሽኖች ላይ እንዲከማቹ እና እንዲሰሩ በብዙ ምክንያታዊ ክፍልፋዮች ሊከፋፈሉ ይችላሉ።

ስፓርክ RDD እንዴት ይሠራል?

አርዲዲዎች ውስጥ ብልጭታ ክፍልፋዮችን ያካተቱ መዝገቦች ስብስብ አላቸው. አርዲዲዎች ውስጥ ብልጭታ በትናንሽ አመክንዮአዊ የመረጃ ቋቶች የተከፋፈሉ ናቸው - ክፍልፍሎች በመባል ይታወቃሉ፣ አንድ ድርጊት ሲፈፀም በአንድ ክፍል አንድ ተግባር ይጀምራል። ክፍልፋዮች በ አርዲዲዎች ትይዩ መሰረታዊ አሃዶች ናቸው።

የትኛው ፈጣን RDD ወይም DataFrame ነው?

አርዲዲ - ቀላል የመቧደን እና የመደመር ስራዎችን ሲያከናውን አርዲዲ ኤፒአይ ቀርፋፋ ነው። የውሂብ ፍሬም - የዳሰሳ ትንተና በማካሄድ ፣ በመረጃ ላይ አጠቃላይ ስታቲስቲክስ መፍጠር ፣ የውሂብ ክፈፎች ናቸው። ፈጣን . አርዲዲ - ዝቅተኛ-ደረጃ ለውጥ እና ድርጊቶችን ሲፈልጉ, እንጠቀማለን አርዲዲዎች . እንዲሁም፣ ከፍተኛ ደረጃ ማጠቃለያዎችን ስንፈልግ እንጠቀማለን። አርዲዲዎች.