Installer Spark sur Mac et Ubuntu
Prérequis
Java est indispensable pour installer et utiliser Spark.
Il faudra donc installer un JDK que vous pouvez télécharger depuis le site de Oracle:
https://www.oracle.com/java/technologies/downloads/#java8
ou tout simplement un openjdk si vous êtes sous Linux avec la commande suivante:
sudo apt install default-jdk
#exporter le JAVA_HOME
echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk" >> ~/.bashrc
source ~/.bashrc
Télécharger Spark
Télécharger la version Spark de votre choix depuis la page de téléchargement:
https://spark.apache.org/downloads.html
# Déplacez-vous dans le dossier contenant l'archive de spark
cd ~/Téléchargements
# Décompressez l'archive
tar xzf spark-XXXX.tgz
sudo mv spark-spark-XXXX /opt/spark
# Rempacez spark-XXXX.tgz par le nom de l'archive
echo "export PATH=$PATH:/opt/spark/bin/" >> ~/.bashrc
# Ajouter Spark dans le PATH
source ~/.bashrc
Lancez Spark shell avec la commande
spark-shell
Affichez le fameux Hello world
print("Hello-word") Installer Zeppelin
Zeppelin est un logiciel open source du project Apache fournissant des fonctionnalité simulais à Jupyter.
Rendez-vous sur la page https://zeppelin.apache.org/download.html pour télécharger une version.
cd ~/Téléchargements
tar xzf zeppelin-XXX
sudo mv zeppelin-XXX /opt/zeppelin
export PATH=$PATH:/opt/zeppelin/bin/
echo "export PATH=$PATH:/opt/zeppelin/bin/" >> ~/.bashrc
Démarrer le serveur zeppelin et naviguez sur http://localhost:8080/#/
zeppelin-daemon.sh start
Vous y trouverez des exemples de code Spark.
Pour arrêter le serveur
zeppelin-daemon.sh stop