ስፓርክ ስርጭት ምንድን ነው?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

ስርጭት በ Apache ውስጥ ተለዋዋጮች ብልጭታ ተነባቢ-ብቻ እንዲሆን የታቀዱ በፈጻሚዎች ላይ ተለዋዋጮችን የማካፈል ዘዴ ነው። ያለ ስርጭት ተለዋዋጮች እነዚህ ተለዋዋጮች ለእያንዳንዱ ትራንስፎርሜሽን እና እርምጃ ለእያንዳንዱ አስፈፃሚ ይላካሉ፣ እና ይህ የአውታረ መረብን በላይ ሊያስከትል ይችላል።

በተመሳሳይ ሰዎች፣ ብልጭታ መቼ ነው ማሰራጨት ያለብኝ?

ስርጭት ተለዋዋጮች በአብዛኛው ጥቅም ላይ የሚውሉት በበርካታ ደረጃዎች ውስጥ ያሉ ተግባራት አንድ አይነት ውሂብ ሲፈልጉ ወይም ውሂቡን በዲሴሪያላይዝድ ቅፅ ውስጥ ሲሸጎጡ ነው. ስርጭት ተለዋዋጮች የሚፈጠሩት ተለዋዋጭ v በመጠቀም SparkContext በመደወል ነው።

እንዲሁም በብልጭታ ውስጥ አከማቸ እና የስርጭት ተለዋዋጮች ምንድን ናቸው? ብልጭታ ሁለት ዓይነት የተጋሩ ዓይነቶችን ይደግፋል ተለዋዋጮች : የስርጭት ተለዋዋጮች በሁሉም አንጓዎች ላይ የማህደረ ትውስታ እሴትን ለመሸጎጥ የሚያገለግል እና አሰባሳቢዎች , የትኞቹ ናቸው ተለዋዋጮች እንደ ቆጣሪ እና ድምር ያሉ "የተጨመሩ" ብቻ።

ይህንን ግምት ውስጥ በማስገባት ብልጭታ ክምችት ምንድን ነው?

አሰባሳቢዎች ተለዋዋጮች በአሶሺዬቲቭ ኦፕሬሽን በኩል ብቻ "የተጨመሩ" ናቸው ስለዚህም በትይዩ በብቃት ሊደገፉ ይችላሉ። ቆጣሪዎችን (በ MapReduce ላይ እንዳለው) ወይም ድምርን ለመተግበር ሊያገለግሉ ይችላሉ። ብልጭታ ቤተኛ ይደግፋል አሰባሳቢዎች የቁጥር ዓይነቶች እና ፕሮግራመሮች ለአዳዲስ ዓይነቶች ድጋፍን ማከል ይችላሉ።

የስርጭት ተለዋዋጭዬን በስፓርክ ውስጥ እንዴት ማዘመን እችላለሁ?

1. የማመሳከሪያ ዳታ ፍለጋውን ሙሉ በሙሉ በሠራተኞች ላይ እንዲኖር ወደ forEachPartition ወይም forEachRdd ይውሰዱት።
2. ሪፍዳታው በተቀየረ ቁጥር የስፓርክ አውድ በአዲስ የብሮድካስት ተለዋዋጭ።