O Data Mesh, conceitualizado por Zhamak Dehghani em 2019, é agora adotado por organizações de todos os tamanhos. Seu princípio fundador: tratar os dados como um produto, detido e operado pelas equipes de negócio (domínios), e não por uma equipe de dados central.
Os 4 princípios do Data Mesh
1. Ownership por domínio
Cada domínio de negócio (marketing, finanças, supply chain) é responsável por seus próprios dados. Ele os produz, os documenta e os disponibiliza na forma de data products.
2. Data as a Product
Um data product tem um proprietário, um SLA, uma documentação, métricas de qualidade. Ele é descobrível via um catálogo e consumível via interfaces padronizadas.
3. Plataforma self-service
Uma equipe de plataforma fornece as ferramentas, a infraestrutura e as abstrações necessárias para que cada domínio possa criar e operar seus data products sem dependência forte de uma equipe central.
4. Governança federada
As regras de governança (normas de qualidade, padrões de segurança, convenções de nomenclatura) são definidas coletivamente e aplicadas de maneira automatizada via a plataforma.
Por que frequentemente fracassa
A armadilha clássica é tratar o Data Mesh como um projeto técnico. Instalar um catálogo de dados e decretar que os domínios são responsáveis por seus dados não é suficiente.
Os fracassos mais frequentes:
- Sem sponsorship C-level: o Data Mesh redistribui o poder. Sem apoio da diretoria, os domínios resistem
- Equipes de domínio não preparadas: publicar um data product requer competências de dados que as equipes de negócio ainda não possuem
- Plataforma complexa demais: se criar um data product leva 3 semanas, ninguém vai fazer
- Ausência de data contracts: sem contratos formais entre produtores e consumidores, a qualidade se degrada rapidamente
Nossa abordagem na Bomzai
Implantamos o Data Mesh progressivamente:
- Auditoria de maturidade: avaliar a capacidade de dados de cada domínio
- Domínio piloto: identificar um domínio maduro e motivado para o primeiro data product
- Plataforma MVP: implantar as peças essenciais (catálogo, qualidade, acesso)
- Scaling: expandir domínio por domínio, treinando as equipes
O Data Mesh não é um big bang. É uma transformação progressiva que leva de 12 a 24 meses para atingir sua maturidade.
Data Mesh vs Data Fabric: qual a diferença?
O Data Fabric é uma abordagem centrada na tecnologia: uma camada de integração inteligente que conecta e virtualiza todas as fontes de dados. O Data Mesh é centrado na organização: ele redistribui a responsabilidade sobre os dados.
Na prática, as duas abordagens são complementares. A plataforma self-service do Data Mesh pode se apoiar em tecnologias Data Fabric para simplificar o acesso aos dados.
