Quão eficiente é o BI Real Time?

O quão eficiente é o BI Real-Time?

Nós vivemos em tempo real, minuto por minuto. – Heena Gathibandhe – InfoManagement, 28/01/2010

As notícias não são mais atrasadas por dias ou até horas; é em tempo real. Nós usamos banco on-line e verificamos nossas contas em  real-time. Nós reservamos vôos com visibilidade em real-time das disponibilidades de assento. Os padrões de vendas mudam com o passar do tempo e de lugar para lugar. As estimativas de valor da moeda corrente trocam e alteram margens de lucro. Equilibrando-se neste terreno inconstante, gerentes de negócios precisam focar nas análises dos negócios, para a tomada de decisões. Inteligência de Negócios Real-time assegura fluxos de dados precisos através do empreendimento de forma que organizações podem tomar decisões rápidas sobre preços de seu mix de serviços e produtos, baseadas nas informações mais recente.

De acordo com Dr. Richard Hackathorn, criador da Time-Value Curve (Curva de Tempo-Valor) “o valor dos dados é diretamente proporcional a quão rápido os  negócios podem reagir em função deles. Em outras palavras, uma corporação perde dinheiro toda vez que demora em conseguir colocar as informações nas mãos de detentores do poder de decisão.”

Real-time BI é crucial para se sobreviver neste mundo competitivo. É importante entender que os novos desafios que devem ser tratados para o desenvolvimento de uma solução que lidará com os requisitos e obstáculos da tecnologia à mão.

BI em Real-time

A meta principal de um real-time BI é reduzir o tempo para a tomada de ação corretiva ou iniciativa. Real-time BI é projetado para controlar a latência dos dados, análise da latência e ação. As empresas devem entender que o ROI também dependerá fortemente na habilidade de uma organização para modificar suas práticas de negócios para aproveitar-se da melhor  receptividade dos sistemas de TI.

Um sistema real-time de BI tem dois componentes principais: Integração de dados em real-time e tomada de decisão em real-time. O objetivo do componente real-time de integração de dados é para capturar eventos de negócios dos sistemas transacionais e integra-los em um Armazem de dados de  baixa latência. Em tempo, o têrmo ‘latência’ usado neste artigo (do inglês ‘latency’) remete à situação de dados ainda não analisados, ou seja, dados prontos para serem transformados em informação através do uso de consultas analíticas (NT). Este componente sustenta real-time, o processamento das demandas de dados. O componente real-time de tomada de decisão, por outro lado, suporta o gerenciamento em real-time da análise das tendências apresentadas pelos dados minerados nas consultas analíticas. A figura 1 dá uma avaliação da Arquitetura de BI em real-time.

Desafios do BI Real-time

As aplicações de BI incluem as atividades de suporte de decisão, consultas e relatórios, processo analítico on-line, análise de estatísticas, previsão e mineração de dados. Cada um destes componentes precisa ser projetado para operar em um ambiente real-time, e pode haver muitos desafios em projetar tal sistema. Alguns desafios importantes incluem:

Projetando real-time ETL. As ferramentas tradicionais de ETL são orientadas a processamentos em batch, em que os dados ficam disponíveis como um  tipo de arquivo de extração em um certo horário, normalmente noturno, semanalmente ou mensalmente. Assim sendo, o sistema transforma e limpa os dados, carregando-os em um Armazém de Dados – DW. As ferramentas de ETL tendem a atualizar sistemas com arquivos completos, com grandes quantidades de dados atualizados. Contudo, para real-time ETL, um fluxo contínuo será exigido ao longo do dia com um mínimo de latência. Operações real-time exigem a sincronização de dados através das multiplas camadas de uma empresa, e muitas fontes diferentes de dados. Conectar uma grande rede de dados de origem para armazenamento em um Data Warehouse Real-Time é altamente complexo.

Modelagem de dados para tempo real. De uma perspectiva de arquitetura de dados, armazenagens de dados em real-time desafia a postura do armazém de dados como um sistema de medidas periódicas, defendendo o requisito para um sistema de informações temporais mais completas e contínuas, isto é, um modelo  real-time de banco de dados que lida com a natureza temporal de dados.

Pesquisa, OLAP, consultas e relatórios. As ferramentas OLAP de consultas existentes hoje em dia, não foram projetadas para atender o conceito de armazenagem real-time de dados, o que pode produzir resultados inesperados.

Escalabilidade. Para sustentar processos real-time, o sistema deve ter um ambiente de back-end de Banco de Dados escalável e flexível, a fim de carregar e administrar quantias grandes de dados. O banco de dados deve também poder lidar com cargas de trabalho misturadas, uma vez que as tarefas costumeiras de atualização do DW de baixa latência deverá  correr em paralelo com as aplicações real-time de tomada de decisão. O processo real-time envolverá alertas em tempo real, com o envio de e-mails com relatórios ou mensagens anexas.  Estes alertas precisam ser projetados para operar com alimentação de dados em real-time.

Soluções sugeridas

Uma ferramenta de BI real-time ideal será a que pode responder todos os desafios acimas. Os peritos ao redor do mundo estão trabalhando no estudo e desenvolvimento de tal sistema e apresentam  muitas abordagens para projetar um BI real-time. Algumas abordagens são informadas aqui.

Micro Batch ETL. Um armazém de dados só pode ser considerado real-time, ou próximo do real-time (near real-time), quando todo ou parte dos dados é atualizada, carregada ou refrescada em uma base de intra-dia, sem interromper o usuário no seu acesso ao sistema. ETL baseado em uma abordagem de arquivo é extremamente efetiva para tratar os requerimentos tipo batch de processamentos diários, semanais e mensais. O conceito de Micro Batch ETL é baseado em  Arquivos Logs de altualização real-time da tecnologia de captura de dados alterados (Change Data Capture – CDC), para aquisição de dados de uma fonte de dados operacionais transacionais. As figuras 2 e 3 dão uma apresentação pictórica do sistema.

Os arquivos de log, baseados na  tecnologia de captura de dados modificados (CDC) que captura os dados que foram modificados na origem, basicamente no momento em que essas alterações acontecem, permitem que a informação seja imediatamente carregada no DW destino,  assegurando que as  informações do  negócios são sempre confiáveis e oportunas. A maioria dos sistemas de gerenciamento de banco de dados administram um Log de transação que registra mudanças feitas no conteúdo do banco de dados e seus  Metadadados. Esquadrinhando e interpretando o conteúdo do Log de transação de banco de dados, pode-se capturar as mudanças feitas no banco de dados, de uma maneira não-intrusiva. A tarefa principal do processo de CDC é de examinar o Log  e escrever dados de coluna e informações de transação-relacionadas para as tabelas do processo de CDC. Detecta as novas tabelas habilitadas ao processo CDC e, automaticamente as inclui no conjunto de tabelas que serão ativamente monitoradas com relação às novas entradas no Log. Semelhantemente, a desativação do CDC também será detectada, causando a remoção da tabela de origem do conjunto de tabelas ativamente monitoradas pelo CDC. Quando o processamento de uma seção do Log está acabado, o processo de captura sinaliza para que os dados já capturados sejam lógicamente truncados e não mais elegíveis para carga.

Enterprise Application Integration – Aplicação de Integração

EAI é o uso de software e princípios arquitetônicos para integrar um conjunto de aplicações de computador de uma empresa. Gerenciamento da Cadeia de Suprimentos (SCM), Gerenciamento do Relacionamento com o Cliente (CRM),  BI e outros tipos de aplicações, tipicamente, não podem se comunicar um com o outro para compartilhar dados ou regras de negócios. EAI é o processo de ligar aplicações dentro de uma organização a fim de simplificar e automatizar os processos de negócios, enquanto ao mesmo tempo evita mudanças das aplicações ou estruturas de dados existentes. Funcionando como um hub central, o servidor de EAI transforma dados de uma aplicação para outra e pode coordenar processos entre aplicações. Isto quer dizer, por exemplo, que quando um cliente de banco mudar o nome em uma conta corrente pessoal, ele automaticamente muda em todas as contas do cliente. O sistema de EAI pode também enviar uma mensagem para um representante de seguro para contactar o cliente, porque a mudança de nome quase sempre significa uma mudança na situação civíl deste cliente. A figura 4 representa o sistema de EAI por meio de ilustrações.

EAI fornece um veículo para colocar os dados de um sistemas fonte diretamente no armazém de dados. EAI pode ser usado para  facilitar a aquisição de dadosde um armazém de dados near real-time ou entregar decisões para o sistema transacional on-line que será responsável pelas atividades de contabilidade associada. De uma perspectiva de integração de dados, EAI pode ser usada para transportar dados entre aplicações e rotear dados real-time de evento para outras aplicações de integração de dados como um processo de ETL. Acesso para aplicações fonte ou destino é feito via serviços da Web, Interfaces.NET da microsoft, Java-relacionado capacidades como JMS, interfaces de aplicação legado e adaptadores, entre outros. Existem dois componentes fundamentais:

• Adaptadores que mapeiam formatos de dados heterogêneos, interfaces e protocolos em um modelo e formato comum. O propósito de adaptadores é de esconder a heterogeneidade e apresentar uma visão uniforme de um mundo heterogêneo subjacente. Um adaptador diferente é necessários para integrar cada tipo de aplicação.
• Um provedor de mensagem que facilita a interação entre adaptadores e, portanto, entre os sistemas de back-end que precisam ser integrados.

Integração de Informações de empreendimento

Na maioria das empresas, informações são armazenadas em bancos de dados separados, armazéns de dados e aplicações. Os produtos de EII fazem isto possível combinando informações destas diferentes demandas de  fontes de dados. EII cria uma camada de abstração entre as aplicações exigindo informações dos sistemas de origem, de forma que os detalhes sobre diferenças de estrutura de dados, local de dados, origens de dados e diferenças de segurança sejam escondidas. EII age como uma máquina de puxar, que aguarda pelos pedidos, divide as consultas através dos  sistemas de origem dos multiplos dados heterogêneos, junta conjuntos de dados transacionais, junta-os e enviam para a aplicação solicitante. Estas aplicações solicitantes podem ser  um serviço da Web, Excell ou qualquer outro front-end. EII disponibiliza informações em tempo real para uma variedade de aplicações, simplificando e acelerando o acesso. Diferentes visões podem ser criadas para diferentes aplicações ou tipos de usuários.  EII trabalha bem quando uma quantia limitada de dados é exigida para sustentar o processo de consultas, como relatorios operacionais ou uma integração discreta de dados. A tecnologia de EII é freqüentemente usada em varejo para sustentar operações de Call Center. Quando um cliente contactar o atendimento ao consumidor, os o desk top usado no serviço ao consumidor usa um software de EII para consultar multiplas fontes de dados para detalhes específicos desse consumidor. A figura 5 mostra um overview do sistema de EII.

No futuro, um BI real-time experimentará uma mudança com um impacto geral, profundo e duradouro. Em última instância, mudará o modo como pensamos sobre negócios e o modo como as decisões de negócios são feitas. As empresas precisam responder mais depressa, ganhar eficiências operacionais e entregar um  atendimento ao consumidor superior,  mantendo um pulso real-time de seus negócios. BI real-time desempenhará um papel essencial para os ambientes de negócios mais rápidos e mais competitivo de amanhã. Projetando uma ferramenta de BI  real-time adequada para  extrair as informações mais recente e o sustentar um sistema de decisão não é, exatamente fácil. Porém, pesquisadores e vários vendedores através do mundo estão profundamente engajados em  em projetar tais soluções. Seus estudos e desenvolvimento de novas abordagens trarão resultados frutíferos e poderão fazer um BI real-time mais fácil de implementar e um nome doméstico no meio das empresas.