Mineração de dados



As informações que conseguimos compilar sobre Mineração de dados foram cuidadosamente revisadas e estruturadas para torná-las tão úteis quanto possível. Você provavelmente veio aqui para saber mais sobre Mineração de dados. Na Internet, é fácil se perder na confusão de sites que falam sobre Mineração de dados e ainda não fornecem o que você quer saber sobre Mineração de dados. Esperamos que nos informe nos comentários se você gostar do que leu sobre Mineração de dados abaixo. Se as informações sobre Mineração de dados que fornecemos não são as que você estava procurando, por favor nos informe para que possamos melhorar este site diariamente.

.

A extracção de dados , também conhecido sob a expressão exploração de dados , mineração de dados , mineração de dados , mineração de dados , ou a extracção de conhecimento de dados , refere-se à extracção de um conhecimento ou '' conhecimento a partir de grandes quantidades de dados , por automático ou semi- métodos automáticos.

Ele se propõe a usar um conjunto de algoritmos de várias disciplinas científicas, como estatística , inteligência artificial ou ciência da computação , para construir modelos a partir dos dados , ou seja, encontrar estruturas ou padrões interessantes de acordo com critérios previamente fixados, e extrair como tanto conhecimento quanto possível .

A utilização industrial ou operacional deste conhecimento no mundo profissional permite resolver os mais diversos problemas, desde a gestão da relação com o cliente à manutenção preventiva, passando pela detecção de fraudes e otimização de sites . É também a forma como o jornalismo de dados funciona .

A mineração de dados segue, na escalada da mineração de dados corporativos, inteligência de negócios . Isso permite observar um fato, como o faturamento , e explicá-lo como o faturamento declinou por produto, enquanto a mineração de dados permite classificar os fatos e predizê-los em certa medida ou esclarecê-los revelando, por exemplo, as variáveis ​​ou parâmetros que podem tornar claro porque é que o volume de negócios de um ponto de venda é superior ao de outro.

História

Gerar modelos a partir de uma grande quantidade de dados não é um fenômeno recente. Para que haja criação de modelo, deve haver coleta de dados. Na China , atribuímos ao mítico imperador Yao , o desejo de identificar as plantações em 2238 aC. DE ANÚNCIOS; no Egito o faraó Amasis organização do censo populacional no V ª  século  aC. AD Não foi até o XVII º  século que começamos a analisar os dados para olhar para características comuns. Em 1662 , John Graunt publicou seu livro Observações Naturais e Políticas Feitas sobre as Contas de Mortalidade  ", no qual analisava a mortalidade em Londres e tentava prever o aparecimento da peste bubônica. Em 1763 , Thomas Bayes mostra que podemos determinar, não apenas as probabilidades a partir das observações resultantes de um experimento, mas também os parâmetros relativos a essas probabilidades. Apresentado no caso particular de uma distribuição binomial , este resultado é estendido de forma independente por Laplace , levando a uma formulação geral do teorema de Bayes . Legendre publicou em 1805 um ensaio sobre o método dos mínimos quadrados que permite comparar um conjunto de dados com um modelo matemático. No entanto, cálculos manuais caros não permitem que esses métodos sejam usados ​​fora de um pequeno número de casos simples e esclarecedores.

De 1919 a 1925, Ronald Fisher desenvolveu a análise de variância como uma ferramenta para seu projeto de inferência estatística médica. A década de 1950 viu o surgimento de computadores e técnicas de cálculo em lote ainda caros nessas máquinas. Simultaneamente, métodos e técnicas estão surgindo, como segmentação , classificação (entre outros pelo método de nuvens dinâmicas ), uma primeira versão de futuras redes neurais que é chamada de Perceptron e alguns algoritmos de auto-evolução que serão chamados posteriormente de genéticos . Na década de 1960, chegaram as árvores de decisão e o método do centro móvel ; essas técnicas permitem aos pesquisadores explorar e descobrir modelos cada vez mais precisos. Na França , Jean-Paul Benzécri desenvolveu a análise de correspondência em 1962 . No entanto, permanecemos em uma perspectiva de processamento em lote .

Em 1969 surgiu o trabalho de Myron Tribus Rational descrições, decisões e projetos que generalizam os métodos bayesianos no cálculo automático (professor em Dartmouth , ele usa bastante logicamente a linguagem BASIC , que foi criada alguns anos antes, e sua interatividade ). A tradução francesa tornou-se disponível em 1973 com o nome de Rational decision in incerteza . Uma ideia importante do trabalho é a menção ao teorema de Cox-Jaynes mostrando que qualquer aquisição de um modelo é feita de acordo com as regras de Bayes (exceto para um homomorfismo ), ou leva a inconsistências. Outra é que entre todas as distribuições de probabilidade que satisfazem as observações (seu número é infinito), é necessário escolher aquela que contém a menor arbitrariedade (portanto, a menor informação adicionada e, conseqüentemente, a de entropia máxima . A probabilidade é considerada lá considerada como uma simples tradução digital de um estado de conhecimento, sem uma conotação frequentista subjacente. Por fim, este trabalho populariza a notação de probabilidades em decibéis, o que torna a regra de Bayes aditiva e possibilita quantificar de forma única o fornecimento de observação no agora independente, tornando várias estimativas precedentes anteriores (ver inferência bayesiana ).

A chegada gradual dos microcomputadores facilita a generalização desses métodos bayesianos sem onerar custos. Isso estimula a pesquisa e as análises bayesianas estão se generalizando, especialmente porque o Tribus tem demonstrado sua convergência, à medida que as observações avançam, para os resultados das estatísticas clássicas, ao mesmo tempo que permite refinar o conhecimento ao longo do tempo sem exigir os mesmos tempos de aquisição (ver também Plano de experimento ) .

Começa então a libertação do protocolo estatístico clássico: não é mais necessário colocar uma hipótese e verificá-la ou não a posteriori . Ao contrário, as próprias estimativas bayesianas construirão essas hipóteses à medida que as observações se acumulam.

A expressão mineração de dados  " tinha uma conotação pejorativa no início dos anos 1960, expressando o desprezo dos estatísticos por abordagens de pesquisa de correlação sem iniciar hipóteses . Ele foi esquecido, então Rakesh Agrawal o usa novamente na década de 1980, quando começou sua pesquisa em bancos de dados de um volume de 1  MB . O conceito de mineração de dados apareceu pela primeira vez, de acordo com Pal e Jain, nas conferências do IJCAI em 1989 . Gregory Piatetsky-Shapiro procurou um nome para este novo conceito no final dos anos 1980 nos Laboratórios GTE . Por  estar sob proteção de direitos autorais a  “ mineração de dados utilizou a expressão “  Descoberta de conhecimento em bancos de dados  ” (KDD).

Então, na década de 1990, surgiram as técnicas de aprendizado de máquina , como os SVMs em 1998 , que complementaram as ferramentas do analista.

No início do XXI th  século, uma empresa como a Amazon.com utiliza todas essas ferramentas para oferecer aos seus clientes produtos que podem interessá-los.

Aplicações industriais

Por objetivos

Hoje em dia, as técnicas de mineração de dados podem ser usadas em campos completamente diferentes com objetivos muito específicos. As empresas de mala direta usam essa técnica para analisar o comportamento do consumidor para identificar semelhanças de comportamento, conceder cartões de fidelidade ou estabelecer listas de produtos a serem oferecidos para venda adicional (venda cruzada).

Uma mala direta ( mala direta ) utilizada para prospectar novos clientes tem uma taxa de resposta de 10% em média. As empresas de marketing usam a mineração de dados para reduzir o custo de aquisição de um novo cliente, classificando os clientes em potencial de acordo com critérios que lhes permitem aumentar as taxas de resposta aos questionários enviados.

Essas mesmas empresas, mas também outras como bancos, operadoras de telefonia móvel ou seguradoras, buscam por meio da mineração de dados minimizar o atrito (ou rotatividade ) de seus clientes, uma vez que o custo de manter um cliente é menos importante do que adquirir um novo.

Os serviços policiais em todos os países procuram caracterizar os crimes (responder à pergunta: "O que é um crime 'normal'") E o comportamento dos criminosos (responder à pergunta: "o que é um crime 'normal'") E o comportamento de criminosos (responda à pergunta: “comportamento criminoso“ normal ””) para prevenir o crime e limitar os riscos e perigos para a população.

A pontuação de clientes em bancos já é bem conhecida, permite identificar "bons" clientes, sem fatores de risco ( avaliação dos riscos do cliente ) a quem entidades financeiras, bancos, seguradoras, etc., podem oferecer preços. produtos atrativos, limitando o risco de não reembolso ou não pagamento ou mesmo perda no caso de seguros.

Os call centers utilizam essa técnica para melhorar a qualidade do serviço e possibilitar uma resposta adequada à operadora para a satisfação do cliente.

Na busca pelo genoma humano , técnicas de mineração de dados têm sido utilizadas para descobrir genes e suas funções.

Outros exemplos em outras áreas poderiam ser encontrados, mas o que podemos notar agora é que todos esses usos permitem caracterizar um fenômeno complexo (comportamento humano, expressão de um gene), para melhor entendê-lo, a fim de reduzir a pesquisa. ou custos operacionais ligados a este fenômeno, ou para melhorar a qualidade dos processos ligados a este fenômeno.

Por setor de negócios

O setor percebeu a importância do patrimônio constituído por seus dados e busca explorá-lo por meio de business intelligence e data mining. As empresas mais avançadas neste campo estão no setor terciário . Segundo o site kdnuggets.com, a distribuição nos Estados Unidos , em percentagem do total de respostas ao inquérito, da utilização da prospecção de dados por setor de atividade é efetuada em 2010 da seguinte forma:

Setores e campos nos quais a mineração de dados é usada (%).
Análise de CRM / consumo
  26,8
Banco
  19,2   13,1
Detecção de fraude
  12,7   11,3   11,3
  10,8   10,3   10,3
  9,9   9,9   8,9
Médico
  8,0   8,0   8,0
Avaliação de crédito
  8,0
  7,0
  6,6
  6,6
Governo, militar
  6,1

Pesquisa e think tanks

Conforme demonstrado no histograma acima, a indústria está muito interessada no assunto, principalmente em termos de padrões e interoperabilidade que facilitam o uso de ferramentas de TI de diferentes editoras. Além disso, as empresas, o ensino e a investigação têm contribuído fortemente para a evolução e o aperfeiçoamento (em termos de rigor, por exemplo) de métodos e modelos; artigo publicado em 2008 pelo Jornal Internacional de Tecnologia da Informação e Tomada de Decisão resume um estudo que traça e analisa essa evolução. Alguns jogadores passaram da pesquisa para a indústria.

Universidades como Konstanz na Alemanha , Dortmund na Carolina do Norte , Estados Unidos , Waikato na Nova Zelândia e Université Lumière Lyon 2 na França, realizaram pesquisas para encontrar novos algoritmos e melhorar os idosos . Eles também desenvolveram softwares que permitem que seus alunos, professores e pesquisadores progridam neste campo, permitindo que a indústria se beneficie de seu progresso.

Por outro lado, muitos grupos e associações interprofissionais foram criados para refletir e apoiar o desenvolvimento da mineração de dados. O primeiro desses grupos profissionais no campo é o grupo de interesse da Association for Computing Machinery em gestão do conhecimento e mineração de dados, o SIGKDD . Desde 1989 , organiza uma conferência internacional anual e publica novos resultados, reflexões e desenvolvimentos de seus membros. Assim, desde 1999 , esta organização publica uma revisão semestral com o título “  Explorações SIGKDD  ” .

Outras conferências sobre mineração de dados e computação são organizadas, por exemplo:

  • DMIN - Conferência Internacional de Mineração de Dados
  • DMKD - Questões de pesquisa sobre mineração de dados e descoberta de conhecimento
  • ECML-PKDD - Conferência Europeia sobre Aprendizado de Máquina e Princípios e Práticas de Descoberta de Conhecimento em Bancos de Dados
  • ICDM - IEEE International Conference on Data Mining
  • MLDM - Aprendizado de Máquina e Mineração de Dados no Reconhecimento de Padrões
  • SDM - Conferência Internacional SIAM sobre Mineração de Dados
  • EDM - Conferência Internacional de Mineração de Dados Educacionais
  • ECDM - Conferência Europeia sobre Mineração de Dados
  • PAKDD - A Conferência Anual Pacífico-Ásia sobre Descoberta de Conhecimento e Mineração de Dados

Essas pesquisas e resultados financeiramente convincentes obrigam as equipes especializadas em mineração de dados a realizar um trabalho metódico em projetos estruturados.

Projetos, métodos e processos

Boas práticas surgiram ao longo do tempo para melhorar a qualidade dos projetos. Entre elas, as metodologias ajudam as equipes a organizar os projetos em processos. Entre os métodos mais utilizados estão a metodologia SEMMA do SAS Institute e o CRISP-DM que é o método mais utilizado na década de 2010.

Método CRISP-DM

O método CRISP-DM divide o processo de mineração de dados em seis etapas, permitindo que a técnica seja estruturada e ancorada em um processo industrial. Mais do que uma teoria padronizada, é um processo de extração de conhecimento empresarial.

Você deve primeiro entender o trabalho que faz a pergunta ao analista, formalizar o problema que a organização busca resolver no que diz respeito aos dados, entender as questões, conhecer os critérios para o sucesso do projeto e traçar um plano inicial para atingir esse objetivo .

Então, o analista precisa dos dados certos. Assim que a equipe do projeto souber o que fazer, deve ir em busca de dados, textos e todo o material que lhes permita responder ao problema. Ele então tem que avaliar a qualidade, descobrir os primeiros padrões aparentes para fazer hipóteses sobre os modelos ocultos.

Os dados que a equipe do projeto coletou são heterogêneos . Devem ser elaborados de acordo com os algoritmos utilizados, removendo os outliers, ou valores extremos, preenchendo os dados não preenchidos, pela média ou pelo método dos K vizinhos mais próximos , removendo as duplicatas, as variáveis ​​invariantes e aquelas ter muitos valores perdidos, ou por exemplo por discretização das variáveis ​​se o algoritmo a ser usado assim o exigir, como é por exemplo o caso para a análise de correspondências múltiplas ACM, a análise discriminante DISQUAL ou o método de Condorcet .

Assim que os dados estiverem prontos, você deve explorá-los. A modelagem agrupa classes de tarefas que podem ser usadas sozinhas ou além de outras para fins descritivos ou preditivos.

A segmentação é a tarefa de descobrir grupos e estruturas nos dados que sejam de alguma forma semelhantes, sem usar estruturas conhecidas a priori nos dados. A classificação consiste nas estruturas conhecidas da tarefa de generalização e aplicá-las aos novos dados.

A regressão tenta encontrar uma função modelando dados contínuos, ou seja, não discretos, com a menor taxa de erro para prever valores futuros. A associação procura relacionamentos entre itens. Por exemplo, um supermercado pode coletar dados sobre os hábitos de compra de seus clientes. Usando as regras de associação, o supermercado pode determinar quais produtos são frequentemente comprados juntos e, assim, usar esse conhecimento para fins de marketing . Na literatura, esta técnica é freqüentemente referida como "análise de cesta básica".

Trata-se, então, de avaliar os resultados obtidos segundo os critérios de sucesso do comércio e de avaliar o próprio processo para revelar as lacunas e as etapas negligenciadas. Como resultado disso, uma decisão deve ser tomada para implantar ou iterar o processo, melhorando o que deu errado ou não foi feito.

Em seguida, vem a fase de entrega e final da avaliação do projeto. São elaborados planos de controle e manutenção e elaborado o relatório de encerramento do projeto. Para implantar um modelo preditivo, utiliza-se a linguagem PMML , baseada em XML . É usado para descrever todas as características do modelo e transmiti-lo a outros aplicativos compatíveis com PMML.

Outros métodos

SEMMA

A metodologia SEMMA ( Amostra e depois Explorar, Modificar, Modelar, Avaliar para “Amostrar, então Explorar, Modificar, Modelar, Avaliar”), inventada pelo SAS Institute , concentra-se nas atividades técnicas de mineração de dados. Embora apresentado pelo SAS como apenas uma organização lógica das ferramentas de mineração SAS Enterprise , SEMMA pode ser usado para organizar o processo de mineração de dados independentemente do software usado.

Six Sigma (DMAIC)

Six Sigma ( DMAIC é um acrônimo que caracteriza o método da seguinte forma: Definir, Medir, Analisar, Melhorar, Controlar para "Definir, Medir, Analisar, Melhorar, Controlar") é uma metodologia estruturada e orientada a dados, cujo objetivo é o eliminação de defeitos, redundâncias e problemas de controle de qualidade de todos os tipos nas áreas de produção, prestação de serviços, gestão e outras atividades comerciais. A mineração de dados é uma área em que este guia metodológico pode ser aplicado.

Desajeitado para evitar

As armadilhas mais comuns encontradas por mineradores de dados experientes e inexperientes foram descritas por Robert Nisbet, John Elder e Gary Miner em seu Handbook of Statistical Analysis & Data Mining Applications .

O primeiro é fazer a pergunta errada. O que leva a procurar no lugar errado. A pergunta inicial deve ser feita corretamente para que a resposta seja útil.

Então, ele está se contentando com uma pequena quantidade de dados para um problema complexo. Devemos ter dados para explorá-los, e casos interessantes para a escavadeira são raros de observar, portanto devemos ter à sua disposição muitos dados para podermos fazer amostras que tenham um valor de aprendizagem e que permitam prever um situação, ou seja, responder a uma pergunta feita, sobre os dados fora da amostra. Além disso, se os dados não forem adaptados à pergunta formulada, a escavação será limitada: por exemplo, se os dados não contiverem variáveis ​​a serem previstas, a escavação ficará restrita à descrição e o analista só poderá dividir os dados em subconjuntos coerentes ( agrupamento ) ou encontre as melhores dimensões que capturam a variabilidade dos dados.

A amostra, que permite o aprendizado, deve ser construída com cuidado e não amostrar levianamente. O aprendizado permite que o modelo seja construído a partir de uma ou mais amostras. Configurar a ferramenta de mineração de dados até que o modelo retorne 100% dos casos buscados equivale a focar nas particularidades e afastar-se da generalização, que é necessária, o que possibilita a aplicação do modelo aos dados fora da amostra. Existem técnicas para evitar overfitting ou overfitting . Esses são métodos de reamostragem, como bootstrap , jackknife ou validação cruzada .

Às vezes, uma única técnica (árvore de decisão, redes neurais ...) não é suficiente para obter um modelo que dê bons resultados em todos os dados. Uma das soluções, neste caso, seria um conjunto de ferramentas, que podemos usar uma após a outra e comparar os resultados nos mesmos dados ou então unificar os pontos fortes de cada método quer pela aprendizagem quer pela combinação de resultados.

É importante colocar os dados e os resultados da escavação em perspectiva, em seu contexto, e não se concentrar nos dados, caso contrário, podem surgir erros de interpretação, bem como perda de tempo e dinheiro.

Eliminar a priori os resultados que parecem absurdos, em comparação com o que se espera, pode ser fonte de erros, porque talvez sejam esses resultados que dão a solução à questão colocada.

É impossível usar e interpretar os resultados de um modelo fora da estrutura em que foi construído. Interpretar resultados com base em outros casos semelhantes, mas diferentes, também é uma fonte de erro, mas isso não é exclusivo do raciocínio de mineração de dados. Finalmente, extrapolar resultados, obtidos em espaços de baixa dimensão, em espaços de alta dimensão também pode levar a erros.

Duas citações de George Box , "Todos os modelos estão errados, mas alguns são úteis" e "Os estatísticos são como artistas, eles se apaixonam por seus modelos", ilustram com humor que às vezes alguns analistas de mineração de dados precisam acreditar em seu modelo e acreditar que o modelo em que estão trabalhando é o melhor. Usar um conjunto de modelos e interpretar a distribuição dos resultados é muito mais seguro.

Plano

Em um projeto de mineração de dados, é essencial saber o que é importante e o que não é, o que leva tempo e o que não; o que nem sempre coincide.

Estimativa do tempo a ser dedicado às diferentes etapas
Tarefas Cobrar Importância
no projeto
Inventário, preparação e exploração de dados 38% 3
Desenvolvimento - Validação de modelos 25% 2
Restituição de resultados 12% 4
Análise dos primeiros testes 10% 3
Definição de metas 8% 1
Documentação - apresentações 7% 5

O coração da mineração de dados é a modelagem: toda a preparação é realizada de acordo com o modelo que o analista pretende produzir, as tarefas realizadas validam o modelo escolhido, concluem e implantam. A tarefa mais séria na modelagem é determinar o (s) algoritmo (s) que produzirão o modelo esperado. A questão importante é, portanto, a dos critérios que tornam possível escolher este ou esses algoritmos.

Algoritmos

Resolver um problema por meio de um processo de mineração de dados geralmente requer o uso de um grande número de métodos e algoritmos diferentes que são mais ou menos fáceis de entender e usar. Existem duas famílias principais de algoritmos: métodos descritivos e métodos preditivos.

Métodos descritivos

Definição

Os métodos descritivos organizam, simplificam e ajudam a compreender as informações subjacentes a um grande conjunto de dados.

Eles possibilitam trabalhar um conjunto de dados , organizado em instâncias de variáveis, em que nenhuma das variáveis ​​explicativas dos indivíduos tem particular importância em relação às demais. Eles são usados, por exemplo, para identificar, a partir de um conjunto de indivíduos, grupos homogêneos em tipologia, para construir padrões de comportamento e, portanto, desvios desses padrões, como a detecção de fraudes de cartões bancários novas ou desconhecidas. Ou o seguro , para fazer a compressão de informações ou compressão de imagem , etc.

Exemplos

Dentre as técnicas disponíveis, podem ser utilizadas as derivadas de estatísticas. Estão agrupadas sob o termo análises fatoriais , métodos estatísticos que permitem identificar variáveis ​​ocultas em um conjunto de medidas; essas variáveis ​​ocultas são chamadas de "fatores". Nas análises fatoriais, supomos que se os dados são dependentes uns dos outros é porque estão ligados a fatores que lhes são comuns. A vantagem dos fatores reside no fato de que um pequeno número de fatores explica quase tão bem os dados quanto o conjunto de variáveis, o que é útil quando há um grande número de variáveis. O fator técnico decompor principalmente análise de componentes principais , análise de componentes independentes , análise de correspondência , análise de correspondência múltipla e escalonamento multidimensional .

Para fixar ideias, a análise de componentes principais combina variáveis quantitativas que descrevem indivíduos, fatores e componentes principais, de forma que a perda de informações seja mínima. Na verdade, os componentes são organizados em ordem crescente de perda de informações, sendo o primeiro o que menos perde. Os componentes não são linearmente correlacionados entre si e os indivíduos são projetados nos eixos definidos pelos fatores, respeitando a distância que existe entre eles. As semelhanças e diferenças são explicadas pelos fatores.

A análise fatorial de correspondência e MCA correspondem a variáveis qualitativas que descrevem as características dos indivíduos, fatores utilizando a tabela de contingência , ou tabela de Burt no caso de MCA, de forma que os fatores são constituídos por variáveis ​​numéricas que melhor separam os valores de as variáveis ​​qualitativas iniciais, que dois indivíduos são próximos se tiverem aproximadamente os mesmos valores das variáveis ​​qualitativas e que os valores de duas variáveis ​​qualitativas são próximos se forem praticamente os mesmos indivíduos que as possuem.

Também podemos usar métodos nascidos no seio da inteligência artificial e, mais particularmente, no aprendizado de máquina . A classificação não supervisionada é uma família de métodos que permite que os indivíduos sejam agrupados em classes, cuja característica é que os indivíduos da mesma classe se assemelham, enquanto os de duas classes diferentes são diferentes. As classes da classificação não são conhecidas de antemão, são descobertas pelo processo. Em geral, os métodos de classificação servem para tornar os dados homogêneos que não são homogêneos a priori e, assim, possibilitar o processamento de cada classe com algoritmos sensíveis a outliers. Nessa perspectiva, os métodos de classificação constituem uma primeira etapa do processo de análise.

Essas técnicas emprestadas da inteligência artificial usam o particionamento de todas as informações, mas também a recuperação . O particionamento é o objetivo dos algoritmos que usam, por exemplo, métodos como os de k-means ("nuvens dinâmicas" em francês), k-medoides ( k-medoides ), k-modos e k-protótipos, que podemos usar para descubra outliers , redes de Kohonen , que também podem ser usadas para classificação, o algoritmo EM ou AdaBoost . A classificação hierárquica é um caso especial para o qual os produtos gráficos de particionamento são facilmente compreensíveis. Os métodos ascendentes partem dos indivíduos que se agregam em classes, enquanto os métodos descendentes partem do todo e por sucessivas divisões chegam aos indivíduos que constituem as classes. Oposto, o gráfico de uma classificação ascendente foi desenhado para mostrar como as classes mais próximas estão ligadas entre si para formar classes de nível superior.

A sobreposição de lógica difusa é uma forma de sobreposição de todos os indivíduos representados pelas linhas de uma matriz onde alguns deles têm uma probabilidade diferente de zero de pertencer a duas classes diferentes. O algoritmo deste tipo mais conhecido é o FCM ( Fuzzy c-means ).

Devemos também mencionar a Iconografia das correlações associada ao uso das Interações Lógicas , um método geométrico que se presta bem à análise de redes complexas de relações múltiplas.

Na bioinformática , as técnicas de dupla classificação são utilizadas para agrupar simultaneamente em diferentes classes os indivíduos e as variáveis ​​que os caracterizam.

Para dar conta da utilidade desses métodos de recuperação, deve-se lembrar que a classificação é um problema cuja grande complexidade foi definida por Eric Bell . O número de partições de um conjunto de objetos é igual a: . Portanto, é melhor ter métodos eficientes e rápidos para encontrar uma partição que responda ao problema proposto, em vez de passar por todas as soluções possíveis.

Por fim, quando a análise não se concentra em indivíduos, itens ou objetos, mas nas relações existentes entre eles, a busca por regras de associação é a ferramenta adequada. Essa técnica foi originalmente usada para análise de carrinho de compras ou análise de sequência. Nesse caso, permite saber quais produtos são comprados simultaneamente, em um supermercado por exemplo, por um número muito grande de clientes; também é aplicado para resolver problemas de análise de caminho de navegação em sites. A busca por regras de associação pode ser usada de forma supervisionada; os métodos APriori , GRI , Carma, ARD ou mesmo PageRank utilizam esta técnica.

Métodos preditivos

Definição

O objetivo dos métodos preditivos é explicar ou prever um ou mais fenômenos observáveis ​​e medidos de forma eficaz. Concretamente, eles estarão interessados ​​em uma ou mais variáveis ​​definidas como sendo os alvos da análise. Por exemplo, avaliar a probabilidade de um indivíduo comprar um produto em vez de outro, a probabilidade de responder a uma operação de marketing direto , a probabilidade de contrair uma doença específica, curá-la, as chances de um indivíduo que visitou uma página de um site retornar para ele, são tipicamente objetivos que podem ser alcançados por métodos preditivos.

Na mineração de dados preditivos, existem dois tipos de operações: discriminação ou classificação e regressão ou previsão, tudo depende do tipo de variável a ser explicada. A discriminação se preocupa com variáveis ​​qualitativas, enquanto a regressão se preocupa com variáveis ​​contínuas.

Os métodos de classificação e previsão permitem separar os indivíduos em várias classes. Se a classe é conhecida de antemão e a operação de classificação consiste em analisar as características dos indivíduos para inseri-los em uma classe, o método é chamado de “supervisionado”. Caso contrário, falamos de métodos “não supervisionados”, sendo esse vocabulário derivado do aprendizado de máquina . A diferença entre os métodos descritivos de classificação que vimos anteriormente e os métodos preditivos de classificação vem do fato de seu objetivo ser divergente: o primeiro "reduzir, resumir, sintetizar os dados" para dar uma visão mais clara dos dados. 'clusters de dados, enquanto o segundo explica uma ou mais variáveis ​​de destino, a fim de prever os valores dessas metas para os recém-chegados.

Exemplos

Podemos citar alguns exemplos de métodos preditivos e apresentá-los de acordo com o campo de onde vêm.

Entre os métodos derivados da inteligência artificial, o analista poderá utilizar árvores de decisão , ora para predição, ora para discretizar dados quantitativos, raciocínio por casos , redes neurais , neurônios radiais para classificação e aproximação de funções, ou talvez genéticas algoritmos , alguns em suporte a redes bayesianas, outros como Timeweaver em busca de eventos raros.

Se o analista estiver mais inclinado a usar métodos derivados de estatísticas e probabilidade, ele recorrerá a técnicas de regressão linear ou não linear no sentido amplo para encontrar uma função de aproximação, análise discriminante de Fisher , regressão logística e regressão logística PLS para prever uma variável categórica , ou o modelo linear generalizado (GLM), modelo aditivo generalizado (GAM) ou modelo log-linear e modelos de regressão múltipla postulados e não postulados para prever uma variável multidimensional.

Quanto à inferência bayesiana e mais particularmente às redes bayesianas , elas podem ser úteis ao analista se ele buscar as causas de um fenômeno ou a probabilidade de ocorrência de um evento.

Se ele deseja completar os dados faltantes, o método dos k vizinhos mais próximos (K-nn) permanece à sua disposição.

Curva de levantamento avaliando o desempenho de um modelo de floresta aleatório em dados de cifose.
Curvas ROC comparando o desempenho de classificação de cinco modelos de aprendizado de máquina em dados de câncer de mama .

A lista de algoritmos evolui a cada dia, porque nem todos têm a mesma finalidade, não se aplicam aos mesmos dados de entrada e nenhum é ideal em todos os casos. Além disso, mostram-se complementares na prática e, combinando-os de forma inteligente na construção de maquetes ou metamodelos , é possível obter ganhos de desempenho e qualidade muito significativos. O ICDM-IEEE fez em 2006 um ranking dos 10 algoritmos com maior influência no mundo da mineração de dados: este ranking é um auxiliar efetivo na escolha e compreensão desses algoritmos.

A Universidade de Stanford tem competição em sua temporada de outono em 2007 ambas as equipes no seguinte projeto: construir sobre os filmes básicos vistos por cada cliente de uma rede de distribuição cujas assinaturas são pagas por cartão magnético, determinar o público mais provável para um filme que já foi ser visto. Uma equipe se concentrou na busca de algoritmos extremamente finos a partir das informações do banco de dados, outra, ao contrário, pegou algoritmos extremamente simples, mas combinou o banco de dados fornecido pela distribuidora com o conteúdo do Internet Movie Database. (IMDB) para enriquecer suas informações. A segunda equipe obteve resultados muito mais precisos. Um artigo sugere que a eficiência do Google se deve menos ao seu algoritmo PageRank do que à grande quantidade de informações que o Google pode correlacionar por meio de referências cruzadas de históricos de consulta e da análise do comportamento de navegação de seus usuários em diferentes sites.

Com os modernos meios de computação, uma ou outra dessas duas soluções podem ser consideradas em cada projeto, mas surgiram outras técnicas que comprovaram sua eficácia na melhoria da qualidade dos modelos e seu desempenho.

Qualidade e performance

Um modelo de qualidade é um modelo rápido, cuja taxa de erro deve ser a mais baixa possível. Não deve ser sensível a flutuações na amostra para métodos supervisionados, deve ser robusto e suportar mudanças lentas nos dados. Além disso, ser simples, compreensível e produzir resultados facilmente interpretáveis ​​aumenta seu valor. Finalmente, ele pode ser configurado para ser reutilizável.

Vários indicadores são usados ​​para avaliar a qualidade de um modelo e, entre eles, as curvas ROC e de elevação , o índice de Gini e a raiz do erro quadrático médio mostram onde está a previsão em relação à realidade e, assim, dão uma boa ideia do valor deste componente da qualidade do modelo.

Robustez e precisão são duas outras facetas da qualidade do modelo. Para obter um modelo eficiente, a técnica consiste em limitar a heterogeneidade dos dados, otimizando a amostragem ou combinando os modelos.

A pré-segmentação propõe classificar a população, depois construir um modelo sobre cada uma das classes em que os dados são mais homogêneos e, finalmente, agregar os resultados.

Com a agregação de modelo, o analista aplica o mesmo modelo a amostras ligeiramente diferentes da amostra original e, em seguida, associa os resultados. O bagging e boosting foram os mais eficazes e mais populares em 1999. Em marketing, por exemplo, o algoritmo Uplift usa a técnica de bagging para produzir modelos de identificação de grupos de pessoas que podem responder a uma oferta comercial após solicitação.

Por fim, a combinação de modelos leva o analista a aplicar vários modelos à mesma população e a combinar os resultados. Técnicas como análise discriminante e redes neurais, por exemplo, são facilmente combinadas.

Ferramentas de TI

Programas

A mineração de dados não existiria sem ferramentas. A oferta informática está presente sob a forma de software e também em algumas plataformas especializadas. Muito software está presente na esfera do software comercial , mas também existe na esfera do software livre . Não existe software melhor do que outros, tudo depende do que você deseja fazer com ele. O software comercial é mais voltado para empresas ou organizações com grandes volumes de dados para explorar, enquanto o software livre é voltado mais especificamente para estudantes, aqueles que desejam experimentar novas técnicas e PMEs. Em 2009 , as ferramentas mais utilizadas foram, na ordem, SPSS , RapidMiner  (en) , SAS , Excel , R , KXEN  (en) , Weka , Matlab , KNIME , Microsoft SQL Server , Oracle DM  (en) , STATISTICA e CORICO ( Iconografia de correlações ). Em 2010 , R era a ferramenta mais usada entre os usuários que responderam à pesquisa Rexer Analytics e STATISTICA parecia ser a ferramenta preferida da maioria dos prospectores de dados (18%). STATISTICA , IBM SPSS Modeler e R receberam as classificações de satisfação mais altas em 2010 e 2009 nesta pesquisa da Rexer Analytics .

Computação em nuvem

A computação em nuvem ( cloud computing ) não é uma ferramenta de data mining, mas um conjunto de serviços web, entregues por provedores via internet, para acomodar e / ou utilizar os dados e softwares. No entanto, existem serviços que podem ser usados ​​na área de mineração de dados. O Oracle Data Mining é exposto no IaaS da Amazon, oferecendo aos clientes uma Amazon Machine Image contendo um banco de dados Oracle, incluindo um HMI para data mining; uma imagem para R e Python também está disponível na Amazon Web Services . Atores presentes exclusivamente na nuvem e especializados na área de data mining oferecem seus serviços como Braincube , In2Cloud , Predixion e Cloud9Analytics entre outros.

Limites e problemas

A mineração de dados é uma técnica que possui limitações e apresenta alguns problemas.

Limites

O software não é autossuficiente. As ferramentas de mineração de dados não oferecem uma interpretação dos resultados, um analista especializado em mineração de dados e uma pessoa que conheça a profissão da qual os dados são extraídos são necessários para analisar as entregas do software.

Além disso, o software de mineração de dados sempre dá um resultado, mas nada indica que seja relevante, nem dá uma indicação de sua qualidade. Mas, cada vez mais, técnicas de assistência à avaliação estão sendo implementadas em software livre ou comercial.

As relações entre as variáveis ​​não estão claramente definidas. As ferramentas de exploração de dados indicam que tais e tais variáveis ​​influenciam a variável a ser explicada, mas não dizem nada sobre o tipo de relação, em particular não se diz se as relações são causa e efeito .

Além disso, pode ser muito difícil reproduzir com clareza, seja por meio de gráficos, curvas ou histogramas, os resultados da análise. O não técnico às vezes terá dificuldade em compreender as respostas que lhe são dadas.

Problemas

Para um francófono, além do mais neófito, o vocabulário é uma dificuldade ou mesmo um problema. Para perceber isso, é interessante especificar o vocabulário encontrado na literatura francesa e anglo-saxônica. Tomando o vocabulário anglo-saxão como referência, o clustering é entendido na mineração de dados como uma segmentação, na estatística e na análise de dados como uma classificação. A classificação em inglês corresponde à classificação em mineração de dados, análise discriminante ou classificação em análise de dados de estilo francês e um problema de decisão em estatística. Finalmente, as árvores de decisão são árvores de decisão na mineração de dados, e podemos ouvir sobre segmentação, neste caso, no campo da análise de dados. A terminologia não é clara.

A qualidade dos dados , ou seja, a relevância e completude dos dados é uma necessidade para a mineração de dados, mas não o suficiente. Erros de entrada de dados, registros duplicados, dados não preenchidos ou preenchidos sem referência ao tempo também afetam a qualidade dos dados. As empresas estão implementando estruturas e procedimentos de garantia de qualidade de dados para poderem responder com eficácia às novas regulamentações externas e auditorias internas, e para aumentar a lucratividade de seus dados que consideram fazer parte de seu patrimônio.

A interoperabilidade de um sistema é sua capacidade de trabalhar com outros sistemas criados por diferentes fornecedores. Os sistemas de mineração de dados devem ser capazes de trabalhar com dados de vários sistemas de gerenciamento de banco de dados , tipos de arquivos , tipos de dados e diferentes sensores. Além disso, a interoperabilidade precisa de qualidade de dados. Apesar dos esforços da indústria em interoperabilidade, parece que em algumas áreas essa não é a regra.

Os dados são coletados a fim de responder a uma pergunta feita pela profissão. Um risco da mineração de dados é o uso desses dados para uma finalidade diferente daquela inicialmente atribuída. O sequestro de dados é o equivalente a citar fora do contexto. Além disso, pode levar a questões éticas.

A privacidade dos indivíduos pode ser ameaçada por projetos de mineração de dados, se não forem tomados cuidados, nomeadamente na pesquisa na web e na utilização de dados pessoais recolhidos na Internet ou nos hábitos de compra, preferências e até mesmo a saúde das pessoas podem ser expostos. Outro exemplo é fornecido pelo Information Awareness Office e em particular o programa Total Information Awareness (TIA) que explorou totalmente a tecnologia de mineração de dados e que foi um dos projetos " pós-11 de setembro "   que o Congresso dos Estados Unidos começou a financiar , mas depois o abandonou devido às ameaças particularmente significativas que esse programa representava para a privacidade dos cidadãos americanos. Mas mesmo sem serem divulgados, dados pessoais coletados pelas empresas, por meio de ferramentas de gestão de relacionamento com o cliente (CRM), caixas registradoras , caixas eletrônicos , cartões de saúdeetc. , pode levar, com técnicas de mineração de dados, a classificar as pessoas em uma hierarquia de grupos, de bons a maus, clientes potenciais , clientes, pacientes ou qualquer papel que alguém desempenhe em um determinado momento da vida social , de acordo com critérios desconhecidos pelo povo eles mesmos. Com isso em mente, e para corrigir esse aspecto negativo, Rakesh Agrawal e Ramakrishnan Sikrant questionam a viabilidade da mineração de dados que preservaria a privacidade das pessoas. Outro problema é o armazenamento dos dados necessários para a escavação, pois os dados digitais podem ser hackeados . E, neste caso, o estouro de dados em bancos de dados distribuídos e a criptografia fazem parte das respostas técnicas existentes e que podem ser postas em prática pelas empresas.

Pesquisas especializadas

Algumas empresas ou grupos se especializaram, por exemplo , Acxiom , Experian Information Solutions , D & B e Harte-Hanks para dados de consumo ou Nielsen NV para dados de audiência.

Além de mineração de dados (descrito acima) que pode ser denominado clássicos especializações, técnicas de data mining, como imagens de busca ( mineração imagem ), a mineração web ( mineração de dados da web ) da mineração fluxo de dados ( mineração fluxo de dados ) e mineração de texto ( text mining ) estão se desenvolvendo na década de 2010 e chamaram a atenção de muitos pesquisadores e da indústria, incluindo os riscos de transmissão de dados pessoais que fazem as pessoas correrem.

O software para categorizar indivíduos de acordo com sua origem social e suas caracterizações de consumidor é usado por essas empresas (por exemplo, Claritas Prizm (criado pela Claritas Inc. e adquirido pela Nielsen Company .

Por tipos de dados

A mineração de áudio , técnica mais recente, às vezes relacionada à mineração de dados, pode detectar sons em um fluxo de áudio. É usado principalmente no campo do reconhecimento de voz e / ou com base nele.

A pesquisa de imagem é a técnica que se interessa pelo conteúdo da imagem. Ele extrai características de um conjunto de imagens, por exemplo da web, para classificá-las, agrupá-las por tipo ou para reconhecer formas em uma imagem para buscar cópias dessa imagem ou detectar um determinado objeto , por exemplo.

A mineração de texto é a exploração dos textos de forma a extrair um conhecimento de alta qualidade. Essa técnica é freqüentemente conhecida como anglicismo de mineração de texto . É um conjunto de processamento computacional que consiste em extrair conhecimento segundo um critério de novidade ou similaridade, em textos produzidos por humanos para humanos. Na prática, isso equivale a colocar em algoritmos um modelo simplificado de teorias linguísticas em sistemas de computador para aprendizagem e estatística. As disciplinas envolvidas são, portanto , linguística computacional , engenharia da linguagem , aprendizado de máquina , estatística e ciência da computação .

Por ambientes técnicos

Trata-se de explorar, com a escavação da web , a enorme fonte de dados que a constitui e encontrar modelos e padrões de uso, conteúdo e estrutura da web. A escavação do uso da web ( mineração de uso da Web ou mineração de log da Web ) é o processo de extração de informações úteis armazenadas nos logs do servidor. Esta mineração explora a mineração de texto para analisar os documentos de texto. Explorar a estrutura da web é o processo de análise de relações, a priori desconhecidas, entre documentos ou páginas armazenados na web.

A data stream mining ( data stream mining ) é a técnica de explorar os dados que chegam em um fluxo constante, ilimitado, com grande rapidez, e alguns fundamentos mudam ao longo do tempo: por exemplo, análise de fluxos de dados emitidos por sensores automotivos. Mas exemplos de aplicações podem ser encontrados nas áreas de telecomunicações, gestão de rede, gestão do mercado financeiro, vigilância e nas áreas de atividades da vida diária, mais perto das pessoas, como análise de fluxos de caixas eletrônicos , transações de cartão de crédito,  etc.

Por campos de atividade

Representação gráfica das margens do rio Neuse nos Estados Unidos onde concentrações anormais de zinco foram observadas.

A mineração de dados espaciais ( Spatial data mining ) é a exploração técnica de dados geográficos em nossa escala na Terra, mas também astronômicos ou microscópicos , cujo objetivo é encontrar padrões interessantes nos dados contendo tanto dados temporais de texto quanto dados geométricos, como vetores , quadros ou gráficos. Os dados espaciais fornecem informações em diferentes escalas, fornecidas por diferentes técnicas, em diferentes formatos, ao longo de um período de tempo frequentemente longo para a observação de mudanças. Os volumes são, portanto, muito grandes, os dados podem ser imperfeitos e barulhentos. Além disso, os relacionamentos entre os dados espaciais são frequentemente implícitos: relacionamentos de conjunto , topológicos , direcionais e métricos são freqüentemente encontrados nesta especialização. A mineração de dados espaciais é, portanto, particularmente difícil.

A mineração de dados espaciais é usada para explorar dados de ciências da terra , dados de mapeamento de crimes, dados de censo , tráfego rodoviário , surtos de cânceretc.

No futuro

O futuro da mineração de dados depende do futuro dos dados digitais. Com o advento da Web 2.0 , blogs , wikis e serviços em nuvem, há uma explosão no volume de dados digitais e os depósitos de matéria-prima para mineração de dados são, portanto, significativos.

Muitos campos ainda fazem pouco uso da mineração de dados para suas próprias necessidades. A análise de dados da blogosfera ainda está em seus estágios iniciais. Entender a "ecologia da informação" para analisar como a mídia da Internet funciona, por exemplo, está apenas começando.

Enquanto os problemas relacionados à privacidade das pessoas forem resolvidos, a mineração de dados pode ajudar a responder a questões no campo médico e, em particular, na prevenção de riscos hospitalares.

Sem ir tão longe quanto a ficção científica do Minority Report , técnicas de criação de perfil sem a priori são possibilitadas pela mineração de dados, o que pode representar alguns novos problemas éticos. Um documentário da BBC Horizon resume algumas dessas questões.

Finalmente, com o surgimento de novos dados e novos campos, as técnicas continuam a se desenvolver.

Notas e referências

Notas

  1. Termo recomendado no Canadá pelo OQLF , e na França pelo DGLFLF ( Jornal Oficial de 27 de fevereiro de 2003) e pelo FranceTerme
  2. seguindo o mesmo exemplo, permite responder à pergunta: "Qual será o faturamento em um mês" "
  3. . Essas distribuições são fáceis de calcular, e entre elas encontramos leis já amplamente utilizadas (lei normal, distribuição exponencial negativa, leis de Zipf e de Mandelbrot ...), por métodos alheios àqueles que as estabeleceram. O teste de aptidão de uma distribuição ao modelo do "teste Psi" de cálculo da entropia residual, é assintoticamente equivalente à Lei do χ² .
  4. veja neste documento os esforços de padronização e interoperabilidade feitos pela indústria (em) Arati kadav Aya Kawale e Pabitra Mitra, Data Mining Standards  " [PDF] em datamininggrid.org (acessado em 13 de maio de 2011 )
  5. Por exemplo, um programa gerenciador de e-mail pode tentar classificar um e-mail como legítimo ou spam . Os algoritmos comumente usados ​​incluem árvores de decisão , vizinhos mais próximos , classificação Naive Bayesiana , redes neurais e separadores de margem ampla (SVMs)
  6. Alguns dos quais podem ser descritos aqui: Guillaume Calas, Estudos dos principais algoritmos de mineração de dados  " [PDF] , em guillaume.calas.free.fr ,(acessado em 14 de maio de 2011 )
  7. Como CART , CHAID , ECHAID , QUEST , C5 , C4.5 e florestas de árvores de decisão
  8. Como perceptrons de uma ou várias camadas com ou sem retropropagação de erros
  9. Como regressão linear , linear múltipla , logística , PLS , ANOVA , MANOVA , ANCOVA ou MANCOVA .
  10. Consulte o glossário de mineração de dados para obter a definição de "robustez" e "precisão".
  11. IaaS significa infraestrutura como um serviço chamado Amazon Elastic Compute Cloud na Amazon
  12. Uma vez que os modelos de mineração de dados se referem a dados agregados dos quais dados pessoais são descartados.
  13. De acordo com Tim Finin, Anupam Joshi, Pranam Kolari, Akshay Java, Anubhav Kale e Amit Karandikar, “  A ecologia da informação das mídias sociais e comunidades online,  ” em aisl.umbc.edu (acessado em 19 de junho de 2011 ) .

Livros especializados

  1. Tufféry 2010 , p.  506
  2. Nisbet, Elder and Miner 2009 , p.  733
  3. Tufféry 2010 , p.  44
  4. Tufféry 2010 , p.  161
  5. Tufféry 2010 , p.  198
  6. Tufféry 2010 , p.  244
  7. Tufféry 2010 , p.  297
  8. Nisbet, Elder and Miner 2009 , p.  235
  9. Tufféry 2010 , p.  518
  10. Tufféry 2010 , p.  121
  11. Tufféry 2010 , p.  158
  12. Kargupta et al. 2009 , p.  283
  13. Kargupta et al. 2009 , p.  357
  14. Kargupta et al. 2009 , p.  420
  15. Kargupta et al. 2009 , p.  471
  16. Kargupta et al. 2009 , p.  1-281

Outras referências

  1. Definição de Data Mining Data Mining  "
  2. "Oficina Etalab de 13 de Outubro de 2011: Datajournalisme" ( 4 ª Oficina de Etalab, 70 participantes 13 outubro de 2011), com vídeos on-line, acessado 08 de outubro de 2013.
  3. (em) Kurt Thearling, An Introduction to Data Mining  " em thearling.com (acessado em 2 de maio de 2011 ) .
  4. Jean-Claude Oriol, Uma abordagem histórica com estatísticas  " [PDF] , em statistix.fr (acessada 12 de maio de 2011 )
  5. (em) Myron Tribus, descrições, decisões e projetos racionais ,, 478  p. ( leia online ).
  6. (em) Nikhil Pal e Lakhmi Jain , técnico avançado em descoberta de conhecimento e mineração de dados , Springer,, 254  p. ( ISBN  978-1-85233-867-1 )
  7. (in) Carole Albouy, Era uma vez ... mineração de dados  " em lafouillededonnees.blogspirit.com (acessado em 23 de outubro de 2011 )
  8. (in) Patricia Cerrito, A Área de Aplicações de Mineração de Dados no Departamento de Matemática  " [PDF] em math.louisville.edu (acessado em 31 de maio de 2011 )
  9. (in) Maryann Lawlor, Smart Companies Dig Data  " em afcea.org (acessado em 31 de maio de 2011 )
  10. Christine Frodeau, Data mining, Consumer Behavior Prediction Tool  " [PDF] , em creg.ac-versailles.fr (acessado em 12 de maio de 2011 )
  11. (in) Colleen McCue , Data Mining and Predictive Analysis: coleta de inteligência e análise de crime , Amsterdam / Boston, Elsevier,, 313  p. ( ISBN  978-0-7506-7796-7 )
  12. Frank Audet e Malcolm Moore, Melhoria da Qualidade em um call center  " [PDF] , no jmp.com (acessada 12 maio de 2011 )
  13. (em) Henry Abarbanel, Curtis Callan, William Dally, Freeman Dyson , Terence Hwa, Steven Koonin, Herbert Levine, Oscar Rothaus Roy Schwitters, Christopher Stubbs e Peter Weinberger, Data mining and the human genome  " [PDF] on fas. org (acessado em 12 de maio de 2011 ) , p.  7
  14. (in) Indústrias / Campos para Análise / Mineração de Dados em 2010  " em kdnuggets.com ,(acessado em 12 de maio de 2011 )
  15. (em) Yi Peng , Gang Kou , Yong Shi e Zhengxin Chen , Uma Estrutura Descritiva para o Campo de Mineração de Dados e Descoberta de Conhecimento  " , Jornal Internacional de Tecnologia da Informação e Tomada de Decisão , Vol.  7, n o  4,, p.  639 a 682 (10.1142 / S0219622008003204)
  16. (em) SIGKDD  : Site Oficial  " em sigkdd.org (acessado em 13 de maio de 2011 )
  17. (em) ACM SIGKDD: Conferences  " em kdd.org (acessado em 13 de maio de 2011 )
  18. (em) ACM, Nova York , SIGKDD Explorations  " em kdd.org (acessado em 13 de maio de 2011 )
  19. (in) 5th (2009)  " , em dmin--2009.com (acessado em 13 de maio de 2011 )
  20. (in) 4th (2008)  " , em dmin-2008.com (acessado em 13 de maio de 2011 )
  21. (em) 3rd (2007)  " , em dmin-2007.com (acessado em 13 de maio de 2011 )
  22. (in) 2 of (2006)  " , em dmin-2006.com (acessado em 13 de maio de 2011 )
  23. (em) 1st (2005)  " , em informatik.uni-trier.de (acessado em 13 de maio de 2011 )
  24. (em) ICDM  : Site Oficial  " em cs.uvm.edu (acessado em 13 de maio de 2011 )
  25. (em) IEEE International Conference on Data Mining  " em informatik.uni-trier.de (acessado em 13 de maio de 2011 )
  26. (em) ICDM09, Miami, FL  " em cs.umbc.edu (acessado em 13 de maio de 2011 )
  27. (em) ICDM08, Pisa (Itália)  " em icdm08.isti.cnr.it (acessado em 13 de maio de 2011 )
  28. (em) ICDM07, Omaha, NE  " em ist.unomaha.edu (acessado em 13 de maio de 2011 )
  29. (em) ICDM06, Hong Kong  " em comp.hkbu.edu.hk (acessado em 13 de maio de 2011 )
  30. (em) ICDM05, Houston, TX  " em cacs.ull.edu (acessado em 13 de maio de 2011 )
  31. (em) ICDM04, Brighton (UK)  " em icdm04.cs.uni-dortmund.de (acessado em 13 de maio de 2011 )
  32. (em) ICDM01, San Jose, CA.  » , Em cs.uvm.edu (acessado em 13 de maio de 2011 )
  33. (en) Processo Padrão da Indústria CRoss para Mineração de Dados  : Modelo de Processo  " , em crisp-dm.org ,(acessado em 14 de maio de 2011 )
  34. (in) Usama Fayyad, Gregory Piatetsky-Shapiro e Padhraic Smyth, From Data Mining to Knowledge Discovery in Databases  " [PDF] em kdnuggets.com ,(acessado em 14 de maio de 2011 )
  35. (in) STATISTICA, Statistics Glossary, Models for Data Mining  " em statsoft.com (acessado em 13 de maio de 2011 )
  36. (em) SAS SEMMA  " em sas.com (acessado em 13 de maio de 2011 )
  37. (in) Ana Azevedo e Manuel Filipe Santos , KDD SEMMA e CRISP-DM: uma visão paralela  " [PDF] , IADIS,( ISBN  978-972-8924-63-8 , acessado em 14 de maio de 2011 ) ,p.  184
  38. isixsigma, “  O que é Seis Sigma  » , Em isixsigma.com (acessado em 15 de maio de 2011 )
  39. StatSoft, “  Six Sigma DMAIC,  ” em statsoft.com (acessado em 15 de maio de 2011 )
  40. (in) Six Sigma on line  " , Aveta Business Institute (acessado em 15 de maio de 2011 )
  41. (em) O que são validação cruzada e bootstrapping  » , Em faqs.org (acessado em 15 de maio de 2011 )
  42. (em) Jing Gao Jiawei Han e Wei Fan, On the Power of Together: Supervised and Unsupervised Methods Reconciled  " em ews.uiuc.edu (acessado em 15 de maio de 2011 )
  43. (em) Mary McGlohon, Data Mining Disasters: a postponement  " [PDF] em cs.cmu.edu (acessado em 14 de maio de 2011 ) , p.  2
  44. (em) Uma introdução aos métodos de conjunto  " na RDC (acessado em 14 de maio de 2011 )
  45. (in) Dorian Pyle , preparação de dados para mineração de dados , Morgan Kaufmann,, 560  p. ( ISBN  978-1-55860-529-9 , leia online )
  46. (em) Kurt Thearling, ' ' Uma introdução à mineração de dados » , Em thearling.com (acessado em 14 de maio de 2011 ) ,p.  17
  47. Stéphane Tufféry, Descriptive Techniques  " [PDF] , em data.mining.free.fr ,(acessado em 14 de maio de 2011 ) ,p.  5
  48. Jacques Baillargeon, Exploratory Factorial Analysis  " [PDF] , em uqtr.ca ,(acessado em 14 de maio de 2011 ) ,p.  4
  49. Philippe Besse e Alain Baccini, “  Statistical Exploração  ” [PDF] , em math.univ-toulouse.fr ,(acessado em 14 de maio de 2011 ) ,p.  7 e seguintes.
  50. Alexandre Aupetit, Redes neurais artificiais: uma pequena introdução  " , em labo.algo.free.fr ,(acessado em 14 de maio de 2011 )
  51. (em) Nikhil R. Pal, Pal Kuhu James M. Keller e James C. Bezdek, Fuzzy C-Means Clustering of Incomplete Data  " [PDF] em comp.ita.br ,(acessado em 14 de maio de 2011 )
  52. (em) ICDM Top 10 algoritmos em data mining  " [PDF] em cs.uvm.edu (acessado em 14 de maio de 2011 )
  53. (em) Wei-Yin Loh e Shih Yu-Shan, Split Selection Methods for Classification Trees  " [PDF] em math.ccu.edu.tw ,(acessado em 14 de maio de 2011 )
  54. (em) Leo Breiman , Random Forests  " [PDF] em springerlink.com ,(acessado em 14 de maio de 2011 )
  55. Ricco Rakotomalala, “  Decision Trees  ” [PDF] , em www-rocq.inria.fr ,(acessado em 14 de maio de 2011 )
  56. (em) Simon Haykin , Neural Networks: A abrangente Foundation , Prentice Hall ,, 842  p. ( ISBN  978-0-13-273350-2 )
  57. M. Boukadoum, Radial Base Neural Networks  " [ppt] , em labunix.uqam.ca (acessado em 14 de maio de 2011 )
  58. Jean-Marc Trémeaux, Algoritmos genéticos para a identificação estrutural de redes Bayesianas  " [PDF] , em naku.dohcrew.com ,(acessado em 14 de maio de 2011 )
  59. Thomas Vallée e Murat Yıldızoğlu, “  Apresentação de algoritmos genéticos e suas aplicações em economia  ” [PDF] , em sc-eco.univ-nantes.fr ,(acessado em 14 de maio de 2011 ) ,p.  15
  60. Olivier Parent e Julien Eustache, Les Réseaux Bayésiens  " [PDF] , em liris.cnrs.fr ,(acessado em 14 de maio de 2011 )
  61. Gilles Balmisse, The Bayesian Networks  " [PDF] , em gillesbalmisse.com ,(acessado em 14 de maio de 2011 )
  62. Samos, The Bayesian Networks  " [PDF] , em samos.univ-paris1.fr ,(acessado em 14 de maio de 2011 )
  63. Para sair da incerteza, entre na era das redes bayesianas  " , Bayesia (acessado em 14 de maio de 2011 )
  64. Valérie Monbet, “  Dados ausentes  ” , em perso.univ-rennes1.fr (consultado em 14 de maio de 2011 ) , p.  27
  65. Didier Durand, “  Google PageRank: o algoritmo leva em consideração 200 parâmetros!  » , Em media-tech.blogspot.com ,(acessado em 14 de maio de 2011 )
  66. Bertrand Liaudet, Cours de Data Mining 3: Modelisation Presentation Générale  " [PDF] , em bliaudet.free.fr (acessado em 14 de maio de 2011 )
  67. (in) David Opitz e Richard Macklin, Métodos de conjunto populares: um estudo empírico  " [PDF] em d.umn.edu ,(acessado em 14 de maio de 2011 )
  68. (em) Suítes de software para mineração de dados, análise e descoberta de conhecimento  " em KDnuggets (acessado em 15 de maio de 2011 )
  69. Datamining platform for virtual universe editors  " , em marketingvirtuel.fr (acessado em 15 de maio de 2011 )
  70. (em) Dean W. Abbott, Philip I. Matkovsky e John Elder IV, 1998 IEEE International Conference on Systems, Man, and Cybernetics, San Diego, CA  " [PDF] em datamininglab.com ,(acessado em 15 de maio de 2011 )
  71. (em) Pesquisa de ferramentas de mineração de dados usadas  " em kdnuggets.com ,(acessado em 15 de maio de 2011 )
  72. (in) Rexer Analytics , 2010 Data Miner Survey  " em rexeranalytics.com (acessado em 19 de junho de 2011 )
  73. (em) Rexer Analytics  " , Rexer Analytics (acessado em 19 de junho de 2011 )
  74. Dave Wells, “  What's Up with Cloud Analytics  » , Em b-eye-network.com (acessado em 2 de junho de 2011 )
  75. John Smiley e Bill Hodak, “  Oracle Database on Amazon EC2: An Oracle White Paper,  ” em oracle.com (acessado em 4 de junho de 2011 )
  76. Drew Conway, Configuração do Amazon EC2 para computação científica em Python e R  " , em kdnuggets.com (acessado em 4 de junho de 2011 )
  77. ipleanware.com
  78. In2Clouds Solutions  " , In2Cloud (acessado em 5 de junho de 2011 )
  79. Predixion, “  Cloud Predixion Solutions,  ” em predixionsoftware.com (acessado em 5 de junho de 2011 )
  80. Visão geral da solução Cloud9  " , Cloud9 (acessado em 14 de junho de 2011 )
  81. (em) Jeffrey Seifer, CRS postponement for congress  " [PDF] em biotech.law.lsu.edu ,(acessado em 15 de maio de 2011 )
  82. Laetitia Hardy, “  Por que a qualidade dos dados está se tornando essencial na empresa  » , No Decideo ,(acessado em 15 de maio de 2011 )
  83. (in) Jeffrey Seifert, CRS postponement for congress  " [PDF] em biotech.law.lsu.edu ,(acessado em 15 de maio de 2011 ) ,p.  27
  84. (em) Workshop internacional sobre mineração de dados prática de preservação de privacidade  " em cs.umbc.edu ,(acessado em 15 de maio de 2011 )
  85. (em) Martin Meint e Jan Möller, Privacy Preserving Data Mining  " [PDF] em fidis.net (acessado em 15 de maio de 2011 )
  86. (em) Kirsten Wahlstrom, John F. Roddick, Rick Sarre Vladimir Estivill-Castro e Denise de Vries, Legal and Technical Issues of Privacy Preservation in Data Mining  " em irma-international.org ,(acessado em 15 de maio de 2011 )
  87. (em) Rakesh Agrawal e Ramakrishnan Sikrant , privacy-Preserving Data Mining  " [PDF] em cs.utexas.edu (acessado em 15 de maio de 2011 )
  88. (in) Murat Kantarcioglu, Introduction to Privacy Preserving Distributed Data Mining  " [PDF] em wiki.kdubiq.org (acessado em 15 de maio de 2011 )
  89. Patrick Gros, Notícias da mineração de imagens AS e emergência de características semânticas  " [PDF] , em liris.cnrs.fr ,(acessado em 15 de maio de 2011 )
  90. (em) Mohamed Medhat Gaber , Arkady Zaslavsky e Shonali Krishnaswamy, Data Streams: A Review  " [PDF] em sigmod.org ,(acessado em 15 de maio de 2011 )
  91. (em) Chih-Hsiang Li, Ding Ying Chiu Yi-Hung Wu e Arbee LP Chen , Mining Frequent itemsets from Data Streams with a Time-Sensitive Sliding Window  " [PDF] em siam.org ,(acessado em 15 de maio de 2011 )
  92. (in) Hillol Kargupta, Ruchita Bhargava, Kun Liu, Michael Powers, Patrick Blair , Samuel Bushra James Dull, Kakali Sarkar, Martin Klein, Mitesh Vasa e David Handy, Vedas: A Mobile and Distributed Data Stream Mining System for Real - Monitoramento de veículo de tempo  ” [PDF] , em siam.org ,(acessado em 15 de maio de 2011 )
  93. (in) Grupo de Pesquisa de Banco de Dados Espaciais e Mineração de Dados Espaciais  : Site Oficial  " em spatial.cs.umn.edu ,(acessado em 15 de maio de 2011 )
  94. (em) Shashi Shekhar e Pusheng Zhang, Mineração de Dados Espaciais: Realizações e Necessidades de Pesquisa  " [PDF] em spatial.cs.umn.edu ,(acessado em 15 de maio de 2011 )
  95. IDC prevê uma explosão no volume de dados produzidos em todo o mundo dentro de 10 anos  " , em lemagit.fr (acessado em 21 de maio de 2011 )
  96. (em) Joseph A Bernstein, Big Idea: Seeing Crime Before It Happens  " Acesso pago on discovermagazine.com ,(acessado em 23 de setembro de 2020 ) .
  97. (em) "O  FBI pode usar perfis em investigações de terror  " no msnbc.com ,(acessado em 23 de setembro de 2020 ) .
  98. A era do Big Data

Veja também

Artigos relacionados

Estatisticas

Inteligência artificial

Ajuda na decisão

Formulários

Bibliografia

  • (en) Robert Nisbet , John Elder e Gary Miner , Handbook of Statistical Analysis & Data Mining Applications , Amsterdam / Boston, Academic Press,, 823  p. ( ISBN  978-0-12-374765-5 )Documento usado para escrever o artigo
  • (pt) Hillol Kargupta , Jiawei Han , Philip Yu , Rajeev Motwani e Vipin Kumar , Next Generation of Data Mining , CRC Press,, 3 e  ed. , 605  p. ( ISBN  978-1-4200-8586-0 ) Documento usado para escrever o artigo
  • Stéphane Tufféry , Data Mining e estatísticas de tomada de decisão: inteligência de dados , Paris, edições Technip,, 705  p. ( ISBN  978-2-7108-0946-3 , leia online )Documento usado para escrever o artigo
  • (en) Phiroz Bhagat , Pattern Recognition inndustry , Amsterdam / Boston / London, Elsevier,, 200  p. ( ISBN  978-0-08-044538-0 )
  • (en) (en) Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification , Wiley-Interscience,( ISBN  0-471-05669-3 ) [ detalhe das edições ]
  • (pt) Yike Guo e Robert Grossman , High Performance Data Mining: Scaling Algorithms, Applications and Systems , Berlim, Springer,, 112  p. ( ISBN  978-0-7923-7745-0 , leia online )
  • (pt) Ingo Mierswa, Michael Wurst, Ralf Klinkenberg, Martin Scholz e Tim Euler, YALE: Rapid Prototyping for Complex Data Mining Tasks  " , Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-06) , ACM,, p.  935-940 ( ISBN  1595933395 , DOI  10.1145 / 1150402.1150531 , apresentação online )
  • Daniel Larose ( trad.  Thierry Vallaud), Dos dados ao conhecimento: Uma introdução à mineração de dados (1Cédérom) , Vuibert,, 223  p. ( ISBN  978-2-7117-4855-6 )
  • René Lefébure e Gilles Venturi , Data Mining: Customer Relationship Management: website customizations , Eyrolles,, 392  p. ( ISBN  978-2-212-09176-2 )
  • (en) Pascal Poncelet , Florent Masseglia e Maguelonne Teisseire , padrões de mineração de dados: novos métodos e aplicações , referência de grupo de ideias,, 307  p. ( ISBN  978-1-59904-162-9 )
  • (pt) Pang-Ning Tan , Michael Steinbach e Vipin Kumar , Introdução à mineração de dados , Pearson Addison Wesley,, 769  p. ( ISBN  978-0-321-32136-7 e 0-321-32136-7 , OCLC  58729322 )
  • (pt) Ian Witten e Eibe Frank , Data Mining: Practical Machine Learning Tools and Techniques , Morgan Kaufmann,, 371  p. ( ISBN  978-1-55860-552-7 , leia online )
  • (pt) Stéphane Tufféry , Data Mining and Statistics for Decision Making , John Wiley & Sons,, 716  p. ( ISBN  978-0-470-68829-8 )
  • (pt) B. Efron , The Annals of Statistics: Bootstrap methods: Another look at the jackknife , Institute of Mathematical Statistics,( ISSN  0090-5364 )
  • (pt) Leo Breiman , Aprendizado de Máquina: Preditores de Bagging , Kluwer Academic Publishers Hingham,( ISSN  0885-6125 )

Esperamos que as informações que coletamos sobre Mineração de dados tenham sido úteis para você. Se for o caso, não se esqueça de nos recomendar a seus amigos e familiares, e lembre-se que você pode sempre nos contatar se precisar de nós. Se, apesar de nossos melhores esforços, você acha que o que fornecemos sobre _título não é totalmente exato ou que devemos acrescentar ou corrigir algo, ficaríamos gratos se você nos avisasse. Fornecer as melhores e mais completas informações sobre Mineração de dados e qualquer outro assunto é a essência deste website; somos movidos pelo mesmo espírito que inspirou os criadores do Projeto Enciclopédia, e por esta razão esperamos que o que você encontrou sobre Mineração de dados neste website o tenha ajudado a expandir seu conhecimento.

Opiniones de nuestros usuarios

Benedito Machado

Para quem como eu procura informações sobre Mineração de dados, essa é uma opção muito boa.

Rafaela Pereira

Não sei como cheguei a este artigo Mineração de dados, mas gostei muito.

Patricia De Barros

Precisava encontrar algo diferente sobre Mineração de dados, que não era o típico que se lê sempre na internet e gostei deste artigo de Mineração de dados.