በ Spark Scala ውስጥ DataFrame ምንድን ነው?

2024 ደራሲ ደራሲ: Lynn Donovan | [email protected]. ለመጨረሻ ጊዜ የተሻሻለው: 2023-12-15 23:42

ሀ Spark DataFrame የማጣራት፣ የቡድን ወይም የማስላት ስራዎችን የሚያቀርብ እና ጥቅም ላይ ሊውል የሚችል በተሰየሙ አምዶች የተደራጀ የተከፋፈለ የመረጃ ስብስብ ነው። ብልጭታ SQL የውሂብ ፍሬሞች ከተዋቀሩ የውሂብ ፋይሎች፣ ነባር RDDዎች፣ ቀፎ ውስጥ ካሉ ሰንጠረዦች ወይም ከውጭ የውሂብ ጎታዎች መገንባት ይቻላል።

በተመሳሳይ፣ በ Scala ውስጥ የውሂብ ፍሬም ምንድነው?

በተሰየሙ ዓምዶች የተደራጀ የተሰራጨ የውሂብ ስብስብ። ሀ የውሂብ ፍሬም በስፓርክ SQL ውስጥ ካለው የግንኙነት ሰንጠረዥ ጋር እኩል ነው። አንድ አምድ ከ የውሂብ ፍሬም ፣ ውስጥ የመተግበር ዘዴን ተጠቀም ስካላ እና ኮል በጃቫ.

በ Scala ውስጥ መብራት ምን ጥቅም አለው? ( በርቷል ነው። ተጠቅሟል ውስጥ ብልጭታ ቀጥተኛ እሴትን ወደ አዲስ አምድ ለመለወጥ።) ኮንካት አምዶችን እንደ ነጋሪ እሴት ስለሚወስድ በርቷል መሆን አለበት ተጠቅሟል እዚህ.

ከላይ በተጨማሪ በ RDD እና በ DataFrame መካከል ያለው ልዩነት ምንድን ነው?

ስፓርክ RDD ኤፒአይዎች - አን አርዲዲ Resilient Distributed Datasets ማለት ነው። እሱ ተነባቢ-ብቻ የክፍል መዝገቦች ስብስብ ነው። አርዲዲ መሰረታዊ የመረጃ መዋቅር ነው ብልጭታ . DataFrame በስፓርክ ውስጥ ገንቢዎች መዋቅርን በተከፋፈለው የውሂብ ስብስብ ላይ እንዲጭኑ ያስችላቸዋል፣ ይህም ከፍተኛ ደረጃን ማጠቃለል ያስችላል።

በአምድ በስፓርክ ውስጥ ምን ያደርጋል?

ከአምድ ጋር ብልጭታ () ተግባር ነው። እንደገና ለመሰየም፣ እሴቱን ለመቀየር፣ ያለውን የውሂብ ፍሬም አምድ የውሂብ አይነት ለመቀየር እና እንዲሁም ይችላል አዲስ አምድ ለመፍጠር በዚህ ልጥፍ ላይ፣ I ያደርጋል በብዛት ጥቅም ላይ በሚውሉት የዳታ ፍሬም አምድ ክንዋኔዎች ውስጥ መራመድዎ ስካላ እና የፒስፓርክ ምሳሌዎች.