https://www.cidj.com/

Data engineer

Synonymes : ingénieur data, ingénieur big data, machine learning engineer, ingénieur en développement big data, développeur big data, intégrateur IA

  • Informatique - Web - Réseaux
  • Sciences Physique – Maths - Data
Le ou la data engineer prépare en amont les données pour que le data scientist puisse les analyser. Il les collecte, les stocke et organise leur mise en production.

Description métier

Le data engineer est un ingénieur spécialisé dans la conception de solutions de récupération et d’exploitation de gros volumes de données ou big data. Responsable de l’infrastructure des données, il  est chargé des processus de collecte, de stockage et de modélisation des données pour que celles-ci soient faciles d‘accès et prêtes à l’analyse par les data scientists et les data analysts.

Il automatise l’acquisition de données provenant de différentes sources (création des pipelines d’acquisition), les collecte et les agrège dans une data warehouse (base de données relationnelle) sur serveur ou sur le cloud (test d’intégration, mise en place et maintenance des outils d’automatisation) et gère les bases de données de stockage.

Son rôle est ensuite de nettoyer, de consolider et de structurer ces données à l’aide d’outils et d’algorithmes (création de tableaux de bord, intégration de modèles statistiques).

Le data engineer doit posséder un large éventail de compétences techniques (langages de développement IA, requêtes, base de données, stockage, analyse de données, cloud computing, machine learning, deep learning, IA, DevOps..).

Pour l’industriatisation des modèles de machine learning, il doit avoir des connaissances en statistiques et mathématiques.

Face à l’explosion du big data et notamment des technologies comme l’Iot (Internet of Things) et l’IA, le data engineer est un profil très recherché. Les data engineer peuvent être recrutés directement par les entreprises ou travailler au sein de société de services.

Études / Formation pour devenir Data engineer

Le data engineer a un niveau bac + 5 (master ou diplôme d’ingénieur, Msc) en informatique, data sciences, big data, ou en statistiques.

Plus de détails sur les masters : www.trouvermonmaster.gouv.fr

Un niveau bac + 2 ou bac + 3 avec une première expérience en développement et manipulation de données peut également convenir.

Salaires

Le salaire d’un data engineer débutant est compris entre 2 900 € et 3 700 € brut mensuel.

Evolutions de carrière

Le data engineer peut faire le choix de se spécialiser (IA, techniques de stream ou “temps réel”).

Il peut évoluer vers les fonctions d’architecte big data ou de tech lead big data.


Crédit photo : Markus Spiske / Unsplash