Face à la multiplication et à la profusion des données numériques, l’architecte big data fait partie des profils les plus recherchés du big data. Son rôle est d’organiser la récupération, la gestion et le stockage des données brutes.
L’architecte big data est chargé de la collecte de la donnée brute qui peut-être plus ou moins structurée, en plus ou moins grande quantité et qui peut provenir de sources différentes (internes, externes). Après cet inventaire, il crée et optimise les infrastructures de stockage, de manipulation et de restitution des données brutes.
L’architecte big data maîtrise les principales technologies de big data en terme de bases de données NoSQL (MongoDB, Cassandra ou Redis), d'infrastructures serveurs (Hadoop, Spark) et de stockage de données en mémoire (Memtables).
C’est un interlocuteur important du Data Scientist, à qui il fournit les données brutes que celui-ci va traiter.
