Dans le cadre d’un programme de “readiness” interne, j’ai participé à la création de contenu autour du Big Data. Comme j’ai eu de nombreuses demandes pour récupérer le contenu que j’ai créé, je me suis dit que ça pourrait peut-être intéresser d’autres personnes. Donc je partage sur mon blog 
!
Ce contenu est constitué d’une série d’articles qui va de la création d’un cluster HDInsight à l’exploitation des données.
Sommaire des articles
- Création d’un cluster HDInsight
- Utilisation de MapReduce
- Utilisation de Hive
- Utilisation de Pig
- Analyses des données avec Power BI
Notebook Jupyter
Depuis le portail Azure, retrouvez le cluster HdInsight que nous avons créé dans l’article précédent.
Cliquez sur « Overview », puis sur « Cluster dashboards »
Cliquez sur « Jupyter Notebook »
Il se peut qu’il soit nécessaire d’entrer les informations de connexion que vous avez définies lors de la création du cluster.
Une fois connecté, créez un Notebook PySpark3. Cliquez sur le bouton « New » puis « PySpark3 ».
Vous devez arriver sur une fenêtre du type :
Copiez le code ci-dessous :
text_file = sc.textFile("/example/data/gutenberg/davinci.txt")
counts = text_file.flatMap(lambda line: line.split(" "))
.map(lambda word: (word, 1))
.reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("/output-WordCount")
Pour exécuter le code, cliquez sur le bouton play
Ce code va compter, pour chaque mot, combien de fois il a été utilisé dans le texte « davinci.txt »
ATTENTION !! Tant que le code est en cours d’exécution, une étoile est présente à gauche du code :
Une fois l’exécution du code terminée, vous devez obtenir l’écran suivant :
Traitement des résultats
Le traitement des résultats se fera plus tard durant ce lab avec Power BI. Il est déjà possible de voir les fichiers depuis le portal Azure, en utilisant le « Data Explorer » du Data Lake Store :
Il suffit de cliquer sur un des fichiers « part- » pour avoir une première vue des données :
Voilà pour cette seconde partie. Le troisième article va traiter de l’utilisation de Hive.