Akkumulatorer er variabler, der kun "føjes" til gennem en associativ operation og kan derfor effektivt understøttes parallelt. De kan bruges til at implementere tællere (som i MapReduce) eller summer. Spark understøtter indbygget akkumulatorer af numeriske typer, og programmører kan tilføje understøttelse af nye typer.
Hvorfor bruger vi akkumulator?
Hydrauliske akkumulatorer bruges i en lang række industrier til at lagre energi; opretholde trykket; dæmpe vibrationer, pulseringer og stød; og meget mere. Energiopbevaring – Akkumulatorer kan modtage, opbevare og frigive energi i form af væske under tryk for at forbedre effektiviteten af dit hydrauliske system.
Hvad er forskellen mellem broadcast og akkumulator i Spark?
Nøgleforskellen mellem en broadcast-variabel og en akkumulator er , at mens broadcast-variablen er skrivebeskyttet, kan akkumulatoren føjes til. … Hver arbejderknude kan kun få adgang til og tilføje sin egen lokale akkumulatorværdi, og kun driverprogrammet kan få adgang til den globale værdi.
Hvordan fungerer Spark-akkumulatoren?
Akkumulatorer er variabler, der bruges til at samle information på tværs af eksekvere. Disse oplysninger kan f.eks. vedrøre data eller API-diagnose, såsom hvor mange poster der er beskadiget, eller hvor mange gange en bestemt biblioteks-API blev kaldt.
Hvorfor bør akkumulatorvariablen i Spark ikke bruges af arbejderen til transformationsoperationer?
Akkumulator vil give forkert output. Hvis en opgave kører langsomt, kan Spark starte en spekulativ kopi af denne opgave på en anden node. Bedømmelse: Ikke håndteret. Akkumulator vil give forkert output.
