sábado, 5 de novembro de 2016

Big Data - Conceitos Básicos

1 - IntroduçãoI


É muito dado! É a matéria prima de tudo que veremos neste texto!





E certamente um dia alguém pensou...
- Isso tem que ter algum valor!

https://espinhodemetal.files.wordpress.com/2007/01/homer_pensando.jpg





E aí surgiu o primeiro conceito Big Data... e depois vieram muitos.

E Big Data é isto... é você pegar um montão de dados e transforma-los em informações que ajudarão os gestores das empresas a tomarem decisões.

- Uééééééé... O BI já faz isso!

O BI usa dados gerados por sistemas transacionais. Estes dados são estruturados e ficam armazenados em bancos de dados. Além disso, os dashboards gerados pelo BI refletem o passado dos dados.

O Big Data tem capacidade de processar um maior volume de dados, de origens e tipos diversos, gerando insights, descobertas e novas possibilidades para o negócio.  

Tanto o BI quanto o Big Data têm como objetivo gerar informações que apoiarão as decisões dos gestores.


2 - V's do Big Data

E aí começaram a surgir os famosos V’s do Big Data... Inicialmente 3v’s, depois 4, 5 e procurando encontramos até 7 v’s.

E os v’s nada mais são do que as características que começam com a letra “v” e que definem um projeto como Big Data.

São eles: Volume, Velocidade, Variedade, Veracidade, Variabilidade, Valor e Visão.

2.1 - Volume





Imaginem a quantidade de dados gerados na apresentação do papa Bento XVI em 2005 e o crescimento deste volume se comparado com a geração de dados na apresentação do papa Francisco em 2013.






Diariamente são criados 2,5 quintilhões de bytes de dados no mundo. Junte esses dados a todos os dados já armazenados até então. Isto é o "v" do volume!

A seguir alguns fatores que contribuem para o aumento do volume de dados:

- Dados transacionais armazenados ao longo do tempo;
- Dados em streaming nas mídias sociais;
- Dados de sensores.


2.2 - Velocidade    

De acordo com o Gartner, velocidade significa:


“Rapidez na produção de dados que deve ser acompanhada da rapidez no tratamento destes dados.”


http://proativasoft.com.br/sitenovo/wp-content/uploads/2015/06/60seconds.jpg


2.3- Variedade       

Os dados podem ter diversas origens e ser de tipos variados. Eles podem ser:

Dados estruturados – Oriundos de sistemas transacionais e armazenados em bancos de dados relacionais;

Semi-estruturados – Dados não relacionais mas com estruturas padronizadas. Exemplos: Arquivos no formato XML e Json;

Não estruturados – Dados que não possuem uma estrutura definida. Exemplos: Sons, vídeos, imagens e arquivos texto.

A imensa variedade de tipos de dados amplia as possibilidades de análises e resultados.


2.4 - Veracidade

Dados confiáveis e condizentes com o momento e objetivo da análise.


https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiHLBBuR9tPmp5a16hR06s-GM1AJ7Iv8Qns_unX3BK5xZ1nay6YPb4chcoWbsPIVOBmd-fYiJVhcM4jCDx566sqvDSJwZAqOxV4o9mp0UhYGdPIQjd5teNyXfYvuDsNLu5k1aEO7Me_Llk/s1600/garbage-in-garbage-out.jpg





2.5 - Variabilidade

Os dados estão em constante mutação e dependem do contexto.

Este “v” é especialmente percebido no processamento da linguagem natural. 
- Uma única palavra pode ter vários significados;
- Novos significados podem ser criados e significados velhos descartados ao longo do tempo;


"Interpretar esta variabilidade é um desafio único!"


2.6 - Valor

Conversão dos dados (data lake) em informações/insights/descobertas que servirão de base para a tomada de decisão, trazendo assim uma vantagem competitiva para as empresas.

A análise dos dados somente gerará valor se as recomendações resultantes originarem mudanças que tragam resultado positivo para as organizações.


2.7 - Visão


Apresentação dos dados de forma legível e acessível! 







3 - Geradores de grandes volumes de dados

Exemplos de geradores de grandes volumes de dados que podem ser tratados pelas ferramentas Big Data:

- Mídias sociais;
- Sensores;
- Dados das caixas pretas de aviões;
- Dados de sistemas transacionais;
- Etiquetas RFID;
- Câmeras de vídeo;
- Internet das coisas.


4 – Ferramentas orientadas a projetos Big Data




5 – Exemplos de aplicabilidades


- Traçar o perfil dos clientes/consumidores para sugerir vendas cruzadas, ofertas direcionadas e criar novos produtos;

Alavacar dados exclusivos para prospecção de novos produtos/demandas de mercado e dos clientes;

- Análises de dados gerados por sensores meteorológicos espalhados pelo mundo com o objetivo de fazer predição de desastres e salvar vidas;

- Análise de informações financeiras oriundas de várias fontes com o objetivo de comprar e vender ações de forma mais eficiente;

Análise preditiva na gestão de risco de crédito;

- Prevenção de epidemias a partir da análise das incidências de doenças em determinados locais;

- Ajustes na linha de produção para evitar falhas que podem ser detectadas em tempo real;



 Detecção de fraudes com maior eficácia.



Nenhum comentário:

Postar um comentário