የእኔን የስኩፕ አፈፃፀም እንዴት ማሻሻል እችላለሁ?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

ለማመቻቸት አፈጻጸም , አዘጋጅ የ የካርታ ስራዎች ብዛት ከዋጋ በታች የ ከፍተኛው የግንኙነቶች ብዛት የ የውሂብ ጎታ ይደግፋል. መቆጣጠር የ ያንን ትይዩነት መጠን ስኩፕ መረጃን ለማስተላለፍ ይጠቅማል የ ለመቆጣጠር ዋናው መንገድ የ ጫን ያንተ የውሂብ ጎታ.

በተመሳሳይ ሁኔታ፣ በሂደቱ መካከል ስኩፕ ካልተሳካ ምን ይከሰታል?

የተለመደ ስኩፕ ከምንጭ ዳታቤዝ ወደ HDFS እየገባ ያለ ስራ ውሂቡን ወደ ዒላማ ማውጫ ይቀዳል። የተቀዳው ፋይል ሊሰረዝ ነው። ስኩፕ ካልተሳካ ሳይጨርሱ.

እንዲሁም አንድ ሰው በስኩፕ ውስጥ ትይዩነትን እንዴት ማግኘት ይቻላል? መቆጣጠር ትይዩነት . ስኩፕ ከአብዛኛዎቹ የውሂብ ጎታ ምንጮች በትይዩ ውሂብን ያስመጣል። የማስመጣት ስራን ለማከናወን የሚጠቀሙባቸውን የካርታ ስራዎች (ትይዩ ሂደቶች) -m ወይም --num-mappers ክርክርን በመጠቀም መግለጽ ይችላሉ። እያንዳንዱ ነጋሪ እሴት ከዲግሪው ጋር የሚዛመድ የኢንቲጀር ዋጋ ይወስዳል ትይዩነት ለመቅጠር

ስለዚህ፣ የኔን የ Hive መጠይቅ አፈጻጸም እንዴት ማሻሻል እችላለሁ?

የቀፎ ጥያቄዎችን ለማመቻቸት ልንከተላቸው የምንችላቸው የልምድ ዝርዝሮች ከዚህ በታች አሉ።

1. በቀፎ ውስጥ መጨናነቅን አንቃ።
2. መቀላቀልን ያመቻቹ።
3. በቀፎ ውስጥ ዓለም አቀፍ መደርደርን ያስወግዱ።
4. የቴዝ ማስፈጸሚያ ሞተርን አንቃ።
5. LIMIT ኦፕሬተርን ያመቻቹ።
6. ትይዩ ማስፈጸሚያን አንቃ።
7. Mapreduce ጥብቅ ሁነታን አንቃ።
8. ነጠላ ቅነሳ ለብዙ ቡድን BY.

ስኩፕ ስንጥቅ እንዴት ይሠራል?

የበለጠ ትይዩነትን በማሳካት የማስመጣት አፈፃፀሙን ለማሳደግ ይጠቅማል። ስኩፕ ይፈጥራል ይከፋፈላል በተወሰነው የሰንጠረዡ አምድ ውስጥ ባሉ ዋጋዎች ላይ በመመስረት በተገለጸው -- መከፋፈል -በተጠቃሚው በማስመጣት ትእዛዝ። የማይገኝ ከሆነ፣ የግቤት ሠንጠረዡ ዋና ቁልፍ ለመፍጠር ጥቅም ላይ ይውላል ይከፋፈላል.