Data Engineer : Rentrer dans le coeur de la donnée

Introduction 

Parfois qualifié « d’ingénieur Big Data », le Data engineer est le premier acteur du processus de traitement de la donnée. Son travail intervient en amont de celui du Data scientist, directement après que l’infrastructure technique ait été mise en œuvre par les architectes et les administrateurs.

Comme c’est un ingénieur, il conçoit et fabrique, mais dans un champ bien spécifique : celui de la donnée. Ainsi, son travail quotidien va consister à se connecter à plusieurs sources de données, croiser les données, effectuer des opérations de nettoyage de données, des filtres, gérer le stockage des données dans différentes bases de données, gérer diverses sortes de formats de données, et potentiellement produire des rapports croisés de ces données. Ses missions

1. Développer et mettre en place les processus de collecte, d’organisation, de stockage et de modélisation des données. 
2. Assurer l’accès aux différentes sources et données et veiller à leur qualité. 
3. Mettre en production les modèles de prédiction créés par les data scientists

‍

Ses compétences clés

• Maîtriser les langages et outils de gestion de bases de données comme Java, Python, R, SQL, NoSQL, Hadoop
• Comprendre et savoir appliquer les techniques de modélisation de données
• Disposer de solides compétences en développement informatique et savoir coder proprement

‍

Le salaire

‍

Un data engineer inspirant

Un bon exemple de data engineer est Jeffrey Dean, surnommé Jeff Dean. Il a travaillé sur MapReduce, un système pour traiter des données à fort volume, beaucoup utilisé par les data engineer. Il a aussi travaillé sur d’autres systèmes connus de la communauté Data comme Bigtable, un service important de Google Cloud, ou encore Tensorflow, essentiel aujourd’hui en tant qu’outil de prédiction.