Big Data refere-se a conjuntos de dados tão grandes, rápidos ou variados que as ferramentas tradicionais não conseguem armazená-los e processá-los de forma adequada. O foco não é só o tamanho, mas extrair valor desses dados.
Os 5 Vs
| V | Significado | Exemplo |
|---|---|---|
| Volume | Quantidade enorme de dados | Terabytes a petabytes de logs e transações |
| Velocidade | Dados gerados e processados em alta velocidade | Fluxo de cliques, sensores, transações |
| Variedade | Formatos diversos | Texto, imagem, vídeo, JSON, planilhas |
| Veracidade | Qualidade e confiabilidade dos dados | Dados ruidosos ou inconsistentes |
| Valor | Utilidade para o negócio | Decisões melhores a partir dos dados |
Tecnologias
- Armazenamento: HDFS, data lakes e armazenamento em nuvem (S3, Cloud Storage).
- Processamento: Apache Spark, Hadoop MapReduce, Flink.
- Mensageria e streaming: Apache Kafka.
- Bancos: NoSQL e data warehouses em nuvem.
- Análise e IA: SQL, Python, aprendizado de máquina e BI.
Exemplo de caso: varejo
Uma rede de lojas cruza o histórico de compras, a navegação no site e dados de estoque para recomendar produtos, prever demanda por região e reduzir faltas e sobras de mercadoria.
Aplicações
- Recomendações em streaming e e-commerce.
- Detecção de fraudes bancárias.
- Saúde e pesquisa genômica.
- Logística e otimização de rotas.
- Cidades inteligentes e IoT.
Cuidados
Privacidade e conformidade com a LGPD, qualidade dos dados, custo da infraestrutura e viés nos modelos. Veja também analista de dados e computação distribuída.