Criar uma cultura de dados tem é essencial para as organizações modernas. Entre os muitos conceitos envolvidos nos processos de Governança de Dados (que podem ser bastante subjetivos dependendo da cultura da organização), um dos mais elusivos, é o de uma fonte única de verdade e […]
Um dicionário de dados é uma ferramenta ou recurso que contém metadados detalhados sobre os dados em um sistema de informação ou em uma organização. Ele fornece uma descrição abrangente de cada elemento de dados, incluindo definições, formatos, relacionamentos, restrições, origens e outros detalhes relevantes. Uma […]
Do ponto de vista de gerenciamento de dados e governança de dados, domínios de dados são às áreas ou contextos específicos nos quais os dados são coletados, armazenados, processados e utilizados. Cada domínio de dados pode representar um conjunto distinto de informações relacionadas a uma determinada […]
Um silo organizacional é uma estrutura dentro de uma organização que que cria uma dinâmica na qual as diferentes áreas ou departamentos funcionam de forma isolada, compartimentada, com pouca comunicação e colaboração entre eles. Basicamente, fazendo que a organização se fragmente em múltiplas organizações menores, com […]
A governança de dados ativa é uma abordagem proativa para gerenciar e controlar os dados de uma organização de forma contínua e dinâmica. Ela envolve o estabelecimento de políticas, procedimentos e práticas que garantem a qualidade, integridade, segurança e conformidade dos dados ao longo de todo […]
Medallion Architecture ou “Arquitetura em Medalhões” é a ideia de uma estrutura hierárquica em camadas, onde cada camada representa um nível de qualidade e governança dos dados.A representação em camadas bronze, prata e ouro estabelece uma estrutura hierárquica para gerenciar e organizar os dados de acordo […]
Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]