A camada semântica de dados é um conceito utilizado em várias disciplinas de ciência da computação e tecnologia da informação, especialmente em contextos de banco de dados, business intelligence (BI), e integração de dados. A função principal desta camada é fornecer um nível de abstração que […]
Um “data swamp” (pântano de dados) é como se descreve um ambiente de armazenamento de dados onde a informação está desorganizada, mal gerenciada, e difícil de acessar ou usar de maneira eficaz. Isso geralmente ocorre quando os dados são acumulados sem uma estrutura clara, padrões de […]
As dimensões que mudam lentamente (Slowly Changing Dimensions – SCDs) são usadas em data warehouses para lidar com alterações nos dados ao longo do tempo. Existem vários tipos de SCDs, cada um adequado para diferentes cenários. Cada tipo de SCD tem suas vantagens e desvantagens, e […]
A governança de dados ativa é uma abordagem proativa para gerenciar e controlar os dados de uma organização de forma contínua e dinâmica. Ela envolve o estabelecimento de políticas, procedimentos e práticas que garantem a qualidade, integridade, segurança e conformidade dos dados ao longo de todo […]
Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
Um Catálogo de Dados é um inventário organizado de ativos de dados na organização. Ele usa metadados para ajudar as organizações a gerenciarem seus dados. Também ajuda os profissionais de dados a coletar, organizar, acessar e enriquecer metadados para oferecer suporte à descoberta e governança de […]
Algo muito simples mas que pode ajudar MUITO o engenheiro de dados. Contratos de Dados, consultoria em Governança e Qualidade de Dados são alguns dos serviços que oferecemos para facilitar a sua vida e ajudar a sua organização a obter vantagens estratégicas. Basicamente, o Contrato de […]