É essencial que as organizações envolvidas estão plenamente conscientes de todos os dados relevantes para essa transação para que uma decisão pode ser chegou sem ambigüidade, com absoluta transparência e assinada com satisfação mútua em qualquer transação. No mundo de hoje da computação em nuvem, o volume de dados armazenados em vários formatos é incompreensível. O resultado natural é que os dados somente necessários, com pilotos periféricos, devem ser na torneira. Esta advertência implica que as organizações são capazes de armazenar dados em um formato específico da empresa e podem acessá-lo em segundos em um download inequívoco do seu armazém de dados ou banco de dados.
No jargão de computador, extrato, transformação e carga (ETL) refere-se a um processo em uso de banco de dados, especialmente em data warehouse que envolve:
Extrair dados de fontes externas.
Transformá-la para caber operacional precisa do mais alto nível de qualidade.
Carregá-lo para o destino final (armazenamento de dados operacionais, mart ou armazém)
A extração
Extrair dados de sistemas diferentes de fonte interna e externa, estruturada e/ou não estruturados é a primeira etapa de um processo ETL. Isto pode ser bastante complicado, como somente os dados relevantes nesse ponto no tempo e extraídos corretamente regularão o resultado. É enviado um pedido simples aos sistemas-fonte, usando conexões de portas adentro, Enfileiramento de mensagens, conectividade aberta de banco de dados (ODBC) ou Object Linking and Embedding, middleware de banco de dados (OLE DB). A maioria dos repositórios de dados agrupam dados de várias fontes. Cada bit de dados pode ser no formato da sua fonte, que pode ser em estruturas de banco de dados relacionais e não relacionais. O objetivo da fase de extração é converter todos os dados em um formato específico para processamento transformação. Algumas ferramentas ETL podem fazer isso automaticamente. Em seguida, os dados são movidos no que é chamado de área de preparo.
A transformação
Uma vez que os dados estão disponíveis na área de preparo, é tudo em uma plataforma e um banco de dados. Torna-se fácil mesclar tabelas, filtrar e classificar os dados usando atributos específicos. Um conjunto de regras ou funções são aplicados aos dados extraídos da fonte para derivar os dados para o carregamento para o destino final. Geralmente, uma transformação pode ser necessária para atender aos negócios e necessidades técnicas do banco de dados alvo, como traduzir valores codificados, triagem, aplicação de validação de dados simples ou complexos, etc.
O carregamento
Dados são carregados no final de destino, normalmente o armazém, como fato / tabelas de dimensão. De lá, os dados podem ser agregados e carregados em datamarts ou cubos como feltro apropriado. Desde que as exigências tendem a ser específicas de organização, esse processo pode variar amplamente.
O processo ETL é também referido como o processo de integração de dados. ETL gerencia processos como migração de dados, gerenciamento de dados, limpeza de dados, sincronização de dados e consolidação de dados.