Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]
Um Catálogo de Dados é um inventário organizado de ativos de dados na organização. Ele usa metadados para ajudar as organizações a gerenciarem seus dados. Também ajuda os profissionais de dados a coletar, organizar, acessar e enriquecer metadados para oferecer suporte à descoberta e governança de […]
Uma estratégia de dados é um plano elaborado por uma organização para gerenciar, processar, analisar e utilizar seus dados de maneira eficaz para alcançar seus objetivos comerciais. Ela envolve a definição de políticas, procedimentos e tecnologias para coletar, armazenar, proteger, compartilhar e utilizar dados de forma […]
Um data warehouse, ou depósito de dados, é um sistema de armazenamento de dados projetado para análise e relatórios. Ele é utilizado para consolidar e integrar dados de várias fontes diferentes em um único local, permitindo que as empresas façam consultas e análises complexas para obter […]
Algo muito simples mas que pode ajudar MUITO o engenheiro de dados. Contratos de Dados, consultoria em Governança e Qualidade de Dados são alguns dos serviços que oferecemos para facilitar a sua vida e ajudar a sua organização a obter vantagens estratégicas. Basicamente, o Contrato de […]