በቁልፍ ምን ይቀንሳል?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

Spark RDD reduceByKey ተግባር የእያንዳንዱን እሴት ያዋህዳል ቁልፍ ተጓዳኝ በመጠቀም ቀንስ ተግባር. ያ ማለት በማስተዋል ይህ ተግባር ምንም አይነት የኤለመንቱ ትዕዛዝ ምንም ይሁን ምን ከበርካታ ክፍልፋዮች ጋር በተመሳሳዩ የ RDD ውሂብ ስብስብ ላይ በተደጋጋሚ ሲተገበር ተመሳሳይ ውጤት ያስገኛል ማለት ነው።

ከዚያ በቡድንባይኪ እና በመቀነስባይኪ መካከል ያለው ልዩነት ምንድነው?

ቡድንByKey () በቁልፍ ላይ በመመስረት የውሂብ ስብስብዎን ማቧደን ብቻ ነው። በKey ይቀንሱ () እንደ መቧደን + ማሰባሰብ ያለ ነገር ነው። በKey ይቀንሱ በትልቅ የውሂብ ስብስብ ላይ ስንሄድ መጠቀም ይቻላል. aggregateByKey() በምክንያታዊነት ተመሳሳይ ነው። በKey ይቀንሱ () ግን ውጤቱን እንዲመልሱ ያስችልዎታል የተለየ ዓይነት.

እንዲሁም እወቅ፣ ለምን መቀነስ እርምጃ በብልጭታ ውስጥ ነው? ብልጭታ ይቀንሳል ኦፕሬሽን ነው ድርጊት ኦፕሬሽን ዓይነት እና ለሁሉም የተሰለፉ ሰነፍ መመሪያዎች ሙሉ የDAG አፈፃፀም ያስነሳል። ብልጭታ አርዲዲ ቀንስ ተግባር የተገለጸውን ተለዋጭ እና አሶሺያቲቭ ሁለትዮሽ ኦፕሬተርን በመጠቀም የዚህን RDD ንጥረ ነገሮች ይቀንሳል። ብልጭታ ይቀንሳል ክዋኔው ከሞላ ጎደል ተመሳሳይ ነው። ቀንስ ዘዴ በ Scala.

ከላይ በተጨማሪ, Pairrd ምንድን ነው?

ስፓርክ የቁልፍ/ዋጋ ጥንዶችን በያዙ RDDs ላይ ልዩ ስራዎችን ይሰጣል። እነዚህ RDDs ጥንድ RDDs ይባላሉ። ጥንድ RDDs በእያንዳንዱ ቁልፍ ላይ በትይዩ ወይም በአውታረ መረቡ ላይ መረጃን እንደገና በማሰባሰብ እንዲሰሩ የሚያስችሉዎትን ስራዎች ስለሚያጋልጡ በብዙ ፕሮግራሞች ውስጥ ጠቃሚ የግንባታ ግንባታ ናቸው። ጥንድ አርዲዲዎች KEY/VALUE ጥንዶች ናቸው።

reduceByKey ተግባር ነው?

ቅነሳ () ወደሚመራው አሲክሊክ ግራፍ (DAG) የማይጨምር ስብስብ ያወጣል ስለዚህ እንደ ድርጊት . ሆኖም፣ በKey ይቀንሱ () RDD ይመልሳል ይህም በ DAG ውስጥ ሌላ ደረጃ/ግዛት ነው፣ ስለዚህ ለውጥ ነው።