Installare Apache Spark su Debian 11

Ho deciso di installare Apache Spark sulla mia Debian 11 giusto per capire di cosa si tratta.

Non mi soffermerò, quindi, su cosa sia Apache Spark.

Partiamo con l'installazione di alcuni pacchetti:

# aptitude install default-jdk curl wget

A questo punto scarichiamo il pacchetto:

# cd /opt
# wget https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
# tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz

Ovviamente la versione da scaricare potrebbe cambiare in base a quando farete l'installazione.

Adesso dovete aggiungere queste righe al vostro .bashrc:

export SPARK_HOME=/opt/spark-3.2.0-bin-hadoop3.2
export PATH=$PATH:/usr/sbin:/home/fermat/.local/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

Siamo pronti per avviare il master:

$ start-master.sh
$ ss -tunelp | grep 8080
tcp   LISTEN 0      1                       *:8080             *:*    users:(("java",pid=3214,fd=294)) uid:1000 ino:35327 sk:a cgroup:/user.slice/user-1000.slice/user@1000.service/app.slice/app-org.gnome.Terminal.slice/vte-spawn-23994cee-1004-4e99-b2af-da0f7c12f464.scope v6only:0 <->

Sembrerebbe tutto ok.

Adesso avviamo il worker:

$ start-worker.sh spark://localhost:7077

Per accedere alla gui web aprite il browser e andate su http://localhost:8080.

Enjoy!