Lago de dados

Um lago de dados (Inglês lago de dados ) é um método de armazenamento de dados em massa usado pelos grandes dados ( big data em francês). Esses dados são mantidos em seus formatos originais ou são muito pouco transformados. O Data Lake prioriza o armazenamento rápido e grande de dados heterogêneos ao adotar uma arquitetura de cluster. Ele não é otimizado para consultas SQL como o DBMS relacional tradicional e afasta-se das propriedades ACID tradicionais. Temos falado sobre NoSQL DBMS desde 2010 .

Portanto, encontramos em um data lake dados de diferentes tipos e fontes, como:

• dados estruturados originados em particular de bancos de dados relacionais (linhas e colunas);
• vários dados de bancos de dados NoSQL  ;
• dados semiestruturados (arquivos CSV , logs, XML , JSON ...);
• dados não estruturados (e-mails, documentos, PDF );
• arquivos do tipo blob (imagens, áudio, vídeo em particular).

Esses dados são mantidos no data lake para análise posterior. É uma solução de gerenciamento de dados híbrida e variada com o objetivo de armazenar de forma rápida e econômica uma grande quantidade de dados brutos.

A principal qualidade do Data Lake é sua flexibilidade. Deve ser capaz de armazenar dados, independentemente de seu formato. Quando um dado é integrado ao Data Lake, ele recebe um identificador exclusivo e é marcado usando um conjunto de tags de metadados estendidos. Quando surge uma necessidade, o Data Lake é varrido para encontrar informações relevantes. A análise desses dados permite, então, agregar valor e atender a essa necessidade.

Origem do termo

O conceito de Data Lake foi mencionado pela primeira vez em 2010 por James Dixon, CTO da Penthao, como uma solução para armazenar dados sem pré-processamento e sem saber exatamente qual será o uso futuro deles. A imagem do lago, permitindo explicar, que diferentes fontes podem alimentá-lo de forma natural e crua, e que os usuários podem mergulhar ali para explorá-lo e trazer amostras para examinar.

Usos e funções

Os data lakes facilitam o acesso e a análise de dados para tarefas como:

• a análise de dados ,
• o Aprendizado de Máquina e o Aprendizado de Máquina ...
• a criação de relatórios ou dashboards , também chamados de: visualização de dados ou DataViz ,

O data lake é, portanto, uma ferramenta de gerenciamento de dados e metadados em vários campos que requerem o armazenamento e a análise de grandes volumes de dados. Associado a meios de análise em tempo real e inteligência artificial que possibilita melhor aproveitamento da informação e aproveitamento de oportunidades.

Essa ferramenta traz algumas vantagens como racionalização do armazenamento de dados, redução dos custos de armazenamento e facilita o acesso para análise e tomada de decisão de forma holística. Em termos de racionalização, o data lake permite, sim, reduzir o tempo gasto e os custos relacionados com a preparação dos dados antes do seu armazenamento, desde que o seu formato original seja preservado.

Há também uma redução nas despesas operacionais com o uso do data lake como repositório de dados mais antigos. Sem o data lake, seria necessário optar pelo data warehouse (data warehouse) para armazená-los, ou então essa solução é mais cara. Por fim, por meio da garantia da ferramenta de que os dados são confiáveis ​​e relevantes,

Vários ambientes fornecem serviços abrangentes para gerenciar um data lake. A maioria deles é baseada na tecnologia Hadoop e fornece instalações locais ( MapR , Cloudera , Hortonworks ) ou na nuvem ( Microsoft Azure , Google Cloud Platform , Amazon S3 ).

Vantagens e desvantagens

O Data Lake é acima de tudo um meio de armazenamento, cujas vantagens são:

• Uma capacidade de armazenamento para grandes volumes de dados
• Velocidade de armazenamento sem pré-processamento de dados brutos
• Flexibilidade e versatilidade para armazenar diferentes formatos e fontes de dados
• racionalização do armazenamento de dados
• redução dos custos de armazenamento,
• reduzir o tempo gasto e o custo de preparação dos dados para armazenamento, uma vez que seu formato original é mantido.

Se bem utilizado, permite:

• Mantenha um histórico de dados antigos por longos períodos de tempo.
• Facilitar o compartilhamento, a atualização de dados e a utilização dos dados de forma coerente e homogênea na empresa, evitando a silotagem de dados.
• Pesquise, analise e correlacione todos os dados da empresa para uma melhor análise e criação de valor.
• Facilita o acesso para análise e tomada de decisão de forma holística.

No entanto, a solução também tem algumas desvantagens:

• A dificuldade de manter um data lake limpo e organizado, que é relativamente demorado e pode ser particularmente caro a longo prazo. O risco é acabar com uma massa de dados que se tornou enorme e inutilizável, até mesmo inutilizável. Isso é chamado de dados de pântano ou Pântano de dados : é um estado degradado do Data Lake. Este termo é usado para denotar um lago de dados inacessíveis aos usuários afetados ou de pouco valor. Nesse sentido, Andrew Brust, por sua vez, assimila completamente o Data Swamp a uma extensão de um Data Lake que ficaria saturado devido à integração de grandes quantidades de dados.
• A dificuldade em organizar e manter uma governança de dados eficaz.
• O tempo necessário para processar e analisar os dados armazenados em seu estado bruto
• A experiência necessária para pesquisar, analisar e processar dados de uma forma relevante e geradora de valor, muitas vezes confiada a cientistas de dados .
• Segurança, confidencialidade e questões relacionadas a dados pessoais e conformidade com regulamentações, inerentes aos dados, estão sempre presentes e tanto mais importantes quanto o Data Lake reúne e armazena dados massivos.

Hoje, existem diferentes maneiras de armazenar dados além do Data Lake , como data warehouse ( data warehouse ) ou Datamart .

• O risco é que essas bases de dados especializadas sejam utilizadas apenas por um pequeno número de pessoas, e pelas mesmas desconhecidas e subexploradas pelo resto da empresa. É o fenômeno da silotagem ou Silo de Dados , onde os dados são acessíveis apenas a parte da organização e acaba gerando problemas de atualização, consistência e compartilhamento.

• Esses bancos de dados são estruturados de maneira diferente, porque cada parte dos dados é processada e transformada antes de ser armazenada. Isso pode economizar tempo com dados realmente úteis, mas pelo contrário, uma perda de tempo se os dados armazenados não forem usados ​​posteriormente, o que pode frequentemente ser o caso para grandes quantidades de dados em Big Data . O modelo pré-estabelecido dessas bases de dados também pode limitar as possibilidades e evoluções de futuras interrogações e pesquisas que podem ser feitas dos dados armazenados.

• Implementar as propriedades ACID de DBMSs relacionais clássicos é caro em termos de recursos e tempo de processamento. Portanto, eles não são mais necessariamente respeitados em sistemas NoSQL que priorizam a velocidade e a distribuição do processamento em clusters para gerenciar dados massivos.

• O limite de volume de dados gerenciados

Referências

1. Alain Clapaud, "  What is Data Lake, the new 'Big Data' concept in vogue  " , no Le Journal du Net ,15 de outubro de 2015(acessado em 22 de junho de 2016 )
2. (in) "  As cinco principais diferenças entre Data Lakes e Data Warehouses  " , em Blue-Granite.com ,26 de janeiro de 2015(acessado em 15 de setembro de 2017 )
3. "  Data Lake: definição e guia definitivo | Talend  ” , no software de integração de dados de código aberto em tempo real Talend (acessado em 2 de novembro de 2020 )
4. (em) "  Pentaho, Hadoop e Data Lakes  " , no blog de James Dixon ,14 de outubro de 2010(acessado em 15 de novembro de 2020 )
5. + Bastien L , “  Data Lake: definição, vantagens e desvantagens para a empresa  ” , em LeBigData.fr ,10 de julho de 2017(acessado em 15 de novembro de 2020 )
6. "  Data lake as a Service: Amazon e Microsoft float, Google under water  " , em journaldunet.com ,24 de maio de 2018(acessado em 22 de dezembro de 2018 )
7. (en-US) Daniel Gutierrez , “  Data Swamp or Data Lake? Cinco perguntas importantes antes de mergulhar  ” , em insideBIGDATA ,23 de setembro de 2015(acessado em 9 de dezembro de 2019 )
8. “  Data Lake Governance  ” em www.ibm.com (acessado em 9 de dezembro de 2019 )
9. (en-US) Andrew Brust , "  How to Prevent A Data Lake from Becoming a Data Swamp  " , em DATAVERSITY ,14 de julho de 2017(acessado em 15 de dezembro de 2019 )
10. Collibra , “  Data Lake vs. Data Swamp - Pushing the Analogy  ” , em Collibra (acessado em 15 de dezembro de 2019 )
11. Philippe Nieuwbourg , "  O conceito de" lago de dados "- lago de dados: explicação do texto  " , em Decideo - Notícias sobre Big Data, Business Intelligence, Data Science, Data Mining (acessado em 15 de dezembro de 2019 )

Artigos relacionados

• Datamart
• Base de dados
• Armazenamento de dados
• Big data