Apache Drill

Em formação

Desenvolvido por	Apache Software Foundation
Primeira versão	4 de janeiro de 2015
Última versão	1.18.0 (5 de setembro de 2020)
Depósito	github.com/apache/drill e git: //git.apache.org/drill.git
Status do projeto	Desenvolvimento
Escrito em	Java
Licença	Licença Apache
Local na rede Internet	drill.apache.org

Apache Drill é uma estrutura de software de código aberto que oferece suporte a aplicativos distribuídos em tempo real para a análise interativa de conjuntos de dados em grande escala. Drill é a versão de código aberto do sistema Dremel do Google que está disponível como um serviço de infraestrutura chamado Google BigQuery. Uma meta de design afirma explicitamente que o Drill é capaz de escalar para 10.000 ou mais servidores e processar petabytes de dados e bilhões de registros em segundos. Drill é um projeto de nível superior para o Apache.

O Drill oferece suporte a muitos bancos de dados NoSQL e muitos sistemas de arquivos como HBase , MongoDB , MapR-DB, HDFS , MapR-FS, Amazon S3 , Armazenamento de Blob do Azure, Google Cloud Storage, Swift, NAS e arquivos locais. Uma única consulta pode juntar dados de data warehouses separados. Por exemplo, você pode anexar o perfil do usuário presente em uma coleção no MongoDB com os logs do Hadoop .

O Drill Optimizer reestrutura automaticamente um plano de execução de consulta para aproveitar as vantagens dos recursos de processamento de data warehouses internos. Além disso, o Drill oferece suporte à localidade dos dados, por isso é interessante colocar o Drill e um armazenamento de dados em vários nós.

Características

Modelo de documento JSON semelhante a MongoDB e Elasticsearch
Usa APIs padrão da indústria: ANSI SQL, ODBC / JDBC, APIs RESTful
Extremamente amigável para o usuário e desenvolvedor (consultas semelhantes a SQL)
Arquitetura distribuída

Apoiar

Drill é focado principalmente em armazenamentos de dados não relacionais, como Hadoop, NoSQL e armazenamento em nuvem. Os seguintes armazenamentos de dados são atualmente suportados:

Hadoop : todas as distribuições Hadoop (HDFS API 2.3+), incluindo Apache Hadoop, MapR, CDH e Amazon EMR
NoSQL: MongoDB , HBase
Armazenamento em nuvem: Amazon S3 , Google Cloud Storage, Azure Blob Storage, Swift

Novos datastores podem ser desenvolvidos na forma de plug-ins. O Drill usa um único modelo de dados JSON que permite consultar armazenamentos de dados in-situ não relacionais (muitos desses sistemas de armazenamento são complexos ou sem esquema).

Veja também

computação em nuvem
Big data
Computação com uso intensivo de dados

Referências

" https://projects.apache.org/json/projects/drill.json " (acessado em 8 de abril de 2020 )
" Versão 1.18.0 " ,5 de setembro de 2020(acessado em 6 de setembro de 2020 )
"A Apache Software Foundation anuncia o Apache ™ Drill ™ como um projeto de nível superior .
"Apache Drill - SQL sem esquema para Hadoop, NoSQL e Cloud Storage . Drill.apache.org.
"Perguntas frequentes - Apache Drill" . drill.apache.org .

(fr) Este artigo foi retirado parcial ou totalmente do artigo da Wikipedia em inglês intitulado " Apache Drill " ( consulte a lista de autores ) .

Publicações

Algumas publicações influenciaram o nascimento e a concepção. Aqui está uma lista parcial:

2005 De bancos de dados a espaços de dados: uma nova abstração para gerenciamento de informações , os autores destacam a necessidade dos sistemas de armazenamento aceitarem todos os formatos de dados e fornecer APIs de acesso a dados que escalem com base no armazenamento de dados de compreensão do sistema.
2010 Dremel: Análise Interativa de Conjuntos de Dados em Escala da Web