Les entreprises produisent aujourd'hui une quantité de données sans précédent. Données clients, transactions, documents, vidéos, objets connectés, réseaux sociaux… Chaque jour, des millions d'informations sont créées, souvent dans des formats très différents.

Mais comment stocker toutes ces données sans savoir à l'avance comment elles seront utilisées ? C'est précisément pour répondre à ce défi qu'est apparu le Data Lake.

Souvent présenté comme le successeur des entrepôts de données traditionnels, le Data Lake est devenu un élément clé des projets de data, d'intelligence artificielle et d'analytics. Pourtant, son fonctionnement reste parfois mal compris.

Dans cet article, nous vous expliquons ce qu'est un Data Lake, à quoi il sert, comment il fonctionne et pourquoi il est devenu incontournable pour de nombreuses organisations.

Un Data Lake, c'est quoi exactement ?

Un Data Lake (littéralement lac de données) est un espace de stockage capable de conserver un très grand volume de données, dans leur format d'origine, sans avoir besoin de les transformer avant leur stockage.

Contrairement aux bases de données classiques, un Data Lake accepte presque tous les types de données :

• des tableaux Excel ;

• des fichiers CSV ;

• des documents PDF ;

• des images ;

• des vidéos ;

• des e-mails ;

• des fichiers de logs ;

• des données issues de capteurs ou d'objets connectés ;

• des données provenant d'applications métier.

L'idée est simple : on stocke d'abord, on exploite ensuite.

Cette approche permet de conserver toutes les données disponibles, même si leur utilisation future n'est pas encore connue.

Pourquoi ne pas utiliser une base de données classique ?

Les bases de données relationnelles sont conçues pour des données très structurées.

Par exemple :

Chaque information possède une colonne bien définie.

Mais aujourd'hui, une entreprise manipule également :

• des conversations issues d'un chatbot ;

• des vidéos de surveillance ;

• des rapports PDF ;

• des photos ;

• des fichiers JSON provenant d'API ;

• des données IoT.

Ces informations sont très difficiles à intégrer dans une base relationnelle traditionnelle.

Le Data Lake répond justement à ce besoin de flexibilité.

Pourquoi parle-t-on de "lac" ?

L'image est volontaire.

Imaginez un lac dans lequel se jettent plusieurs rivières.

Chaque rivière apporte une eau différente.

Le lac ne trie pas immédiatement cette eau.

Il la conserve.

Le Data Lake fonctionne selon le même principe.

Il collecte les données provenant de nombreuses sources :

• ERP ;

• CRM ;

• applications métier ;

• réseaux sociaux ;

• plateformes web ;

• objets connectés ;

• applications mobiles.

Toutes ces données sont stockées ensemble, prêtes à être exploitées ultérieurement.

Les trois types de données

Un Data Lake peut accueillir trois grandes catégories de données.

Les données structurées

Ce sont les plus simples à exploiter.

Exemples :

• bases SQL ;

• fichiers CSV ;

• données financières ;

• ventes.

Les données semi-structurées

Elles possèdent une organisation, mais pas forcément des colonnes fixes.

Exemples :

• JSON ;

• XML ;

• logs applicatifs.

Les données non structurées

Elles représentent aujourd'hui une part importante des données produites.

Exemples :

• images ;

• vidéos ;

• e-mails ;

• PDF ;

• documents Word ;

• contenus audio.

Le Data Lake permet de réunir ces trois familles dans un même environnement.

Data Lake ou Data Warehouse : quelle différence ?

Ces deux notions sont souvent confondues.

Pourtant, elles répondent à des besoins différents.

Autrement dit :

Le Data Warehouse répond à des questions connues.

Quel est le chiffre d'affaires du mois ?

Le Data Lake permet également de répondre à des questions que l'on ne s'était pas encore posées.

Pourquoi les entreprises utilisent-elles un Data Lake ?

Centraliser les données

Les informations sont souvent dispersées dans de nombreux outils.

Le Data Lake devient un point de rassemblement unique.

Préparer des projets d'intelligence artificielle

Les modèles de Machine Learning ont besoin d'importants volumes de données.

Le Data Lake facilite leur collecte et leur préparation.

Éviter de perdre des informations

Avant l'apparition des Data Lakes, certaines données étaient simplement supprimées faute d'espace ou parce qu'elles semblaient inutiles.

Aujourd'hui, elles peuvent devenir précieuses plusieurs années plus tard.

Accélérer les analyses

Les analystes disposent d'un accès unique à des données provenant de plusieurs systèmes.

Ils peuvent croiser les informations plus facilement.

Les défis d'un Data Lake

Créer un Data Lake est relativement simple.

Le maintenir utile est beaucoup plus complexe.

Sans organisation, un Data Lake peut rapidement devenir ce que les spécialistes appellent un...

Data Swamp

Un Data Swamp ("marécage de données") désigne un Data Lake mal gouverné où :

• personne ne sait quelles données existent ;

• les doublons se multiplient ;

• les fichiers sont mal documentés ;

• la qualité des données diminue ;

• retrouver une information devient difficile.

Autrement dit : Toutes les données sont présentes mais personne ne sait les utiliser.

La gouvernance : un élément indispensable

Pour éviter cet écueil, les entreprises mettent en place une gouvernance des données.

Elle consiste notamment à :

• documenter les jeux de données ;

• définir des règles de qualité ;

• contrôler les accès ;

• tracer les modifications ;

• gérer les droits des utilisateurs ;

• appliquer les exigences réglementaires comme le RGPD.

La gouvernance est souvent la différence entre un Data Lake performant et un simple espace de stockage désorganisé.

Les technologies les plus utilisées

Aujourd'hui, les Data Lakes reposent souvent sur des solutions cloud capables de stocker des volumes très importants de données à faible coût.

Les principaux fournisseurs proposent des services dédiés :

• Amazon Web Services (AWS) avec Amazon S3 comme couche de stockage ;

• Microsoft Azure avec Azure Data Lake Storage ;

• Google Cloud avec Cloud Storage.

Autour de ces espaces de stockage viennent s'ajouter des outils permettant de traiter, cataloguer, sécuriser et analyser les données.

Le Data Lakehouse : une évolution récente

Depuis quelques années, un nouveau concept gagne du terrain : le Data Lakehouse.

Son objectif est de combiner les avantages du Data Lake et du Data Warehouse.

Le principe est simple :

• conserver la flexibilité du Data Lake ;

• offrir les performances et la fiabilité d'un entrepôt de données.

Cette approche permet aux équipes métiers, aux analystes et aux data scientists de travailler sur une même plateforme, sans multiplier les copies de données.

Le Data Lakehouse est aujourd'hui considéré comme une évolution majeure des architectures data modernes.