O que é Data Mesh?

“Data Mesh” é um modelo de gerenciamento de dados distribuídos com uma filosofia de descentralização, empoderamento e self-service.

Proposto por Zhamak Dehghani, engenheira da empresa ThoughtWorks, e ganhou popularidade como uma abordagem para resolver os desafios do gerenciamento de dados em escala em empresas modernas e orientadas por dados.

O data mesh busca descentralizar o controle de dados e distribuir a responsabilidade de gerenciamento de dados para os times de negócios, em vez de depender de uma equipe centralizada de engenheiros de dados ou cientistas de dados. Essa descentralização é alcançada através da criação de “domínios de dados” autônomos, cada um sendo de propriedade e gerenciado por um time específico, geralmente aquele que é o especialista no domínio em questão.

Princípios fundamentais:

1. Domínios de dados:
   • Os dados são divididos em domínios baseados em áreas de negócio, produtos ou fluxos de trabalho específicos.
   • Cada domínio é responsável por definir seus próprios padrões de qualidade, governança e acesso aos dados.
2. Self-serve Data Infrastructure (Infraestrutura de dados self-service):
   • Cada domínio de dados possui sua própria infraestrutura de dados, permitindo que eles usem as ferramentas e tecnologias mais adequadas para suas necessidades.
3. Product Thinking (Pensamento ou abordagem de produto):
   • Os domínios de dados são tratados como produtos, com equipes responsáveis pelo desenvolvimento, suporte e evolução contínua dos dados e pipelines relacionados.
4. Data as a Product (Dados como produto):
   • Os dados de alta qualidade são tratados como produtos valiosos que agregam valor aos usuários finais.
5. Federated Governance (Governança federada):
   • Existe uma governança global para garantir a conformidade, padrões comuns e políticas de segurança em toda a organização, mas a governança operacional é descentralizada para os domínios de dados.

A ideia por trás do data mesh é que, ao distribuir o gerenciamento de dados para os times de negócio, há uma maior capacidade de resposta às necessidades específicas, menor centralização de gargalos e um ambiente de dados mais flexível e adaptável. No entanto, é importante notar que o data mesh ainda é uma abordagem em desenvolvimento, e sua aplicação prática pode variar de acordo com o contexto organizacional e tecnológico.