Šta je reducirati po ključu?
Šta je reducirati po ključu?

Video: Šta je reducirati po ključu?

Video: Šta je reducirati po ključu?
Video: Единая Защита от Кентавра и атеросклероза из 5 упражнений 2024, Maj
Anonim

Funkcija Spark RDD reduceByKey spaja vrijednosti za svaku ključ koristeći asocijativ smanjiti funkcija. To intuitivno znači da ova funkcija daje isti rezultat kada se više puta primjenjuje na isti skup RDD podataka s više particija, bez obzira na redoslijed elementa.

Koja je onda razlika između groupByKey i reduceByKey?

groupByKey () je samo grupisanje vašeg skupa podataka na osnovu ključa. smanjitiByKey () je nešto poput grupisanja + agregacije. smanjitiByKey može se koristiti kada radimo na velikom skupu podataka. aggregateByKey() je logički isto što i smanjitiByKey () ali vam omogućava da vratite rezultat u drugačije tip.

Također Znajte, zašto je smanjenje akcije u iskri? Smanjenje iskre operacija je akcija vrsta operacije i pokreće potpuno DAG izvršenje za sve poređane lijene instrukcije. Spark RDD smanjiti funkcija reducira elemente ovog RDD-a koristeći specificirani komutativni i asocijativni binarni operator. Smanjenje iskre rad je skoro sličan smanjiti metoda u Scali.

Pored gore navedenog, šta je Pairrdd?

Spark pruža posebne operacije na RDD-ovima koji sadrže parove ključ/vrijednost. Ovi RDD-ovi se nazivaju par RDD-ova. Uparivanje RDD-ova je koristan gradivni blok u mnogim programima, jer otkrivaju operacije koje vam omogućavaju da djelujete na svaki ključ paralelno ili pregrupirate podatke širom mreže. PairRDDs su parovi KLJUČ/VRIJEDNOST.

Je li smanjenjeByKey akcija?

reducira() izlazi kolekcija koja se ne dodaje usmjerenom acikličkom grafu (DAG) pa se implementira kao akcija . Kako god, smanjitiByKey () vraća RDD koji je samo još jedan nivo/stanje u DAG-u, stoga je transformacija.

Preporučuje se: