Inteligência de negócios de código aberto

O open source de decisão de TI ( open source business intelligence , OBSI) reúne todas as soluções e técnicas relacionadas à tomada de decisão e cujo modelo é baseado no open source .

Quase todas as áreas de business intelligence no mundo proprietário também são cobertas pelo OBSI.

OBSI, cujos códigos de software são parcialmente públicos, não tem nada a ver com inteligência de código aberto (OSINT), que se refere à pesquisa em fontes públicas , ou seja, jornais, diretórios, etc.

Base de dados

O mundo do software livre oferece alternativas aos sistemas proprietários de banco de dados Oracle ou Microsoft SQL Server . As soluções mais famosas são:

MySQL / MariaDB ;
PostgreSQL .

ETL

Os ETL (extract-transform-load) são as ferramentas para manipulação de dados, quanto para a construção e fornecimento de data warehouse (data warehouse).

Os ETLs de código aberto permitem realizar um grande número de operações de processamento para a extração ("E"), transformação ("T") e carregamento ("L") de dados, de ou para um grande número de sistemas:

extração e carregamento de dados de muitos DBMS via drivers JDBC : Oracle, PostgreSQL, MySql, MS SqlServer, IBM DB2 , Sybase , Teradata ...
extração e alimentação de arquivos simples : CSV , Excel , XML , arquivo com comprimento de registro fixo, etc.
typecasting, adição de campos calculados e constantes, mapeamento, normalização e desnormalização
Desduplicação de linha, controles e roteamento de fluxo
validação e limpeza de dados
função de pesquisa ( pesquisa ) de informações adicionais permitindo, por exemplo, a junção entre dois DBMS diferentes
extração e carregamento em pacotes de software específicos ( SAP , SugarCRM, etc.) ou diretórios LDAP
funções de tomada de decisão: Dimensão que muda lentamente, leitura de cubos OLAP (Mondrian ( en ), Palo ( Palo )), agregações
Recursos orientados para EAI : recuperação e envio de arquivos por FTP , SSH , Mail, Scripting, mensagens orientadas a serviços , Web Services

Existem vários ETLs de código aberto, com versões básicas totalmente gratuitas (gratuitas) e profissionais (pagas). Eles são equipados com recursos avançados e permitem suporte direto do editor.

Os ETLs de código aberto mais completos e reconhecidos são:

Talend Open Studio: Talend Open Studio (TOS) é publicado pela empresa Talend . O Talend é um ETL cuja interface gráfica é baseada no Eclipse RCP e é do tipo “gerador de código ” : um código específico é gerado (e visível) para cada processo de integração de dados. Talend Integration Suite (TIS) refere-se à versão profissional, cujas principais funcionalidades adicionais se destinam a fornecer funcionalidades empresariais avançadas: desenvolvimento colaborativo, gerenciamento de implantações, console de administração e programação de trabalhos de produção.
Pentaho ( Pentaho ) Data Integration (PDI) também conhecido como “Kettle”: PDI é um ETL que tem praticamente a mesma funcionalidade do Talend, a principal diferença é sua interface baseada em Java SWT e seu "Meta engine". PDI de fato incorpora todo o código necessário em seu kernel e, portanto, apenas processa fluxos de dados. Assim, um processo Kettle pode ser armazenado na forma de um arquivo plano (XML) ou então em um SGBD (“ repositório Kettle ”), este último também servindo como um repositório de trabalho compartilhado. Um dos atrativos do PDI é o seu nível de integração com a plataforma OBSI Pentaho: o Kettle pode, assim, servir como fonte de dados para o motor de relatórios Pentaho e ainda permitir o desenvolvimento de visualizações de análises multidimensionais com o conceito de " Agile ". BI ”e a ferramenta Pentaho Analyzer
CloverETL ( en ): CloverETL é publicado pela empresa Javlin
Streamsets
MentDB Weak é uma solução ETL de código aberto publicada pela empresa Innov-AI. O servidor é baseado em uma camada do tipo Arquitetura Orientada a Serviços (SOA) e permite, com uma linguagem de programação compactada (MQL), realizar tarefas ETL para transferir dados de um software para outro. Também possui um gerador de código que pode acelerar o desenvolvimento, bem como 26 módulos de conexão padrão prontos para uso (FTP, SSH, SFTP, Excel, CSV, JSON, XML, SQL ...). É uma ferramenta projetada para o desenvolvimento colaborativo, acionando jobs ao longo do tempo e integra alguns algoritmos de aprendizado de máquina .