A governança de dados ativa é uma abordagem proativa para gerenciar e controlar os dados de uma organização de forma contínua e dinâmica. Ela envolve o estabelecimento de políticas, procedimentos e práticas que garantem a qualidade, integridade, segurança e conformidade dos dados ao longo de todo […]
Medallion Architecture ou “Arquitetura em Medalhões” é a ideia de uma estrutura hierárquica em camadas, onde cada camada representa um nível de qualidade e governança dos dados.A representação em camadas bronze, prata e ouro estabelece uma estrutura hierárquica para gerenciar e organizar os dados de acordo […]
Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]
Um Catálogo de Dados é um inventário organizado de ativos de dados na organização. Ele usa metadados para ajudar as organizações a gerenciarem seus dados. Também ajuda os profissionais de dados a coletar, organizar, acessar e enriquecer metadados para oferecer suporte à descoberta e governança de […]
Algo muito simples mas que pode ajudar MUITO o engenheiro de dados. Contratos de Dados, consultoria em Governança e Qualidade de Dados são alguns dos serviços que oferecemos para facilitar a sua vida e ajudar a sua organização a obter vantagens estratégicas. Basicamente, o Contrato de […]