Sadržaj:

Kako da pokrenem svoj server spark historije?
Kako da pokrenem svoj server spark historije?

Video: Kako da pokrenem svoj server spark historije?

Video: Kako da pokrenem svoj server spark historije?
Video: Getting started with Containers | #CloudNativeNinja PT1 2024, Maj
Anonim

Da biste omogućili Spark historijski server:

  1. Kreirajte direktorij za dnevnike događaja u sistemu datoteka DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kada je evidentiranje događaja omogućeno, podrazumevano ponašanje je da se svi zapisnici pohranjuju, što uzrokuje da prostor za pohranu raste s vremenom.

Osim ovoga, kako da podesim server istorije sparka?

Da omogućite Spark historijski server:

  1. Kreirajte direktorij za dnevnike događaja u sistemu datoteka DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kada je evidentiranje događaja omogućeno, podrazumevano ponašanje je da se svi zapisnici pohranjuju, što uzrokuje da prostor za pohranu raste s vremenom.

Slično tome, kako mogu pronaći URL svog servera spark historije? Npr., za server istorije , oni bi obično bili dostupni na server - url >:18080/api/v1, a za pokrenutu aplikaciju, na https://localhost:4040/api/v1. U API-ju, aplikacija je referencirana njenim ID-om aplikacije, [app-id].

Isto tako, šta je Spark History server?

The Spark historijski server je alat za praćenje koji prikazuje informacije o završenom Spark aplikacije. Ove informacije je izvučeni iz podataka koje aplikacije po defaultu zapisuju u direktorij na Hadoop Distributed File System (HDFS).

Šta je Sparkui?

Spark Web UI vam omogućava da vidite listu faza i zadataka planera, informacije o okolišu, informacije o pokrenutim izvršiocima i još mnogo toga. Pogledajte ovu 30-minutnu demonstraciju da naučite o: Komponentama i životnom ciklusu Spark programa. Kako vaša Spark aplikacija radi na Hadoop klasteru.

Preporučuje se: