70% mais rápido para acessar os dados. O Data Mesh não é uma tecnologia, é uma escolha de organização.

70% mais rápido para acessar os dados. O Data Mesh não é uma tecnologia, é uma escolha de organização.

A
Alexis
7 min
70% mais rápido para acessar os dados. O Data Mesh não é uma tecnologia, é uma escolha de organização.

Em resumo

O Data Mesh acelera o acesso aos dados em 70% descentralizando a propriedade. 4 pilares, arquitetura concreta e pré-requisitos organizacionais.

70% mais rápido para acessar os dados. O Data Mesh não é uma tecnologia, é uma escolha organizacional.

Toda vez que um negócio precisa de um dado, ele abre um chamado para a equipe de dados. Prazo médio: 3 semanas. O negócio recebe um dataset que não corresponde exatamente ao que queria. Segunda iteração: mais 2 semanas. Ao fim de um mês, as duas equipes estão frustradas e a necessidade do negócio às vezes já evoluiu.

Esse é o cenário clássico das organizações centralizadas. E é exatamente o problema que o Data Mesh resolve. Os resultados medidos: 70% de redução no prazo de acesso aos dados nas organizações que o implantaram. Não é marginal. É uma mudança de paradigma.

Mas é preciso ser claro desde o início: o Data Mesh não é um produto de software. É uma arquitetura organizacional. A tecnologia decorre disso. Não o contrário.

Quatro pilares, nesta ordem

Propriedade descentralizada por domínio. Em vez de uma equipe central de dados que detém tudo, cada domínio de negócio - Finanças, Riscos, Sinistros, Distribuição - é proprietário dos seus dados. É ele que produz, mantém e garante a qualidade.

Dados empacotados em data products. Cada dataset exposto se torna um produto: documentado, versionado, com um SLA de qualidade, metadados claros, uma interface de consumo padronizada. Exatamente como um produto de software.

Infraestrutura em self-service. Uma plataforma comum fornece as ferramentas de provisionamento, monitoramento, segurança, governança. Os domínios não gerenciam a infra - eles se concentram nos seus dados.

Governança federada. Padrões comuns (formatos, qualidade, segurança, acesso) aplicados de maneira federada. Cada domínio é autônomo no seu perímetro mas respeita as regras do coletivo.

Por que o modelo centralizado não aguenta

O datalake centralizado tem uma falha estrutural: um ponto único de congestionamento. Todas as demandas passam pela mesma equipe. Essa equipe não conhece os negócios em profundidade. Ela produz datasets genéricos que requerem idas e vindas.

O Data Mesh inverte o modelo. O domínio de Finanças produz seus próprios data products porque é ele que entende melhor seus dados. O domínio de Sinistros faz o mesmo. Cada um publica em um catálogo comum. Os outros consomem em self-service.

O negócio obtém o dado que quer, quando quer, sem chamado.

O verdadeiro desafio não é técnico

A tecnologia do Data Mesh é conhecida. A mudança organizacional, muito menos. Você pede a domínios de negócio que se tornem produtores de dados. Isso implica treinar as equipes, recrutar perfis de dados em cada domínio, redefinir as responsabilidades.

O domínio de Finanças deve aceitar que é responsável pela qualidade dos seus dados. Não "a engenharia de dados deveria limpar nossos dados". É uma mudança cultural profunda, e não se decreta - se constrói progressivamente.

As organizações que conseguem começam por um ou dois domínios piloto. Elas demonstram o modelo, capitalizam nos primeiros resultados e depois expandem. Sem big bang.

Um caso vivenciado

Seguradora de médio porte, equipe de dados de 8 pessoas sobrecarregada. Prazo médio para obter um dado: 4 semanas. Após a migração para Data Mesh, o domínio de Sinistros (5 data engineers integrados) produz seus próprios data products. Prazo para um dado de Sinistros: 3 dias. O domínio de Riscos faz o mesmo. E a célula de dados central se reposiciona em casos de uso de IA - em vez de fazer o papel de intendente.

Os erros que vemos com mais frequência

Data Mesh sem governança clara. Cada domínio desenvolve seus próprios padrões, os formatos divergem, os data products são incompatíveis. A governança federada não é opcional - ela deve estar em vigor desde o primeiro domínio piloto.

Migração big-bang. Observamos uma organização tentar migrar 40 domínios em 6 meses. Caos completo, 3 semanas de parada do data warehouse, reversão total. Foram necessários 18 meses para retomar a abordagem de modo progressivo.

Propriedade sem responsabilidade. Se um data product não tem um owner identificado com SLAs mensuráveis, a qualidade se degrada. Cada produto deve ter um responsável que presta contas.

Os resultados após 18 meses

Prazo de acesso aos dados: -70%. Custo de produção de um dado: -40%. Tempo de implantação dos casos de uso de IA: -50% - porque os dados estão documentados, com qualidade e acessíveis desde o início.

O Data Mesh não acelera apenas o acesso aos dados. Ele acelera tudo que depende deles. E em uma organização que quer industrializar a IA, isso muda tudo.

Continue a explorar

Veja outros artigos de Data Strategy no universo Data

Artigos recomendados

Este tema interessa a você?

Nossos especialistas podem aprofundar este tema numa conversa dedicada. Marque um horário para falar sobre isso.

Falar com um especialista →