Um pipeline de dados é uma série de etapas envolvidas no processamento de dados de uma organização. Normalmente, a pipeline de dados envolve a Ingestão, e uma sequência de estapas de processamento que transformam os dados de acordo com a lógica do negócio e, cada etapa, […]
O contínuo e vertiginoso crescimento do volume de dados produzidos por nossas atividades (Big Data, Internet das Coisas (IoT), softwares como serviço (SaaS), atividades na nuvem) estão causando uma explosão no número de fontes de dados, os processos que geram dados. Mas a maioria desses dados […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
A elaboração de queries SQL costuma seguir um padrão de desenvolvimento bastante pobre e desleixado, normalmente realizado por profissionais de banco de dados que tentam entender as necessidades do negócio, elas tendem a se tornar um código espaguete rapidamente e uma sucessão de sub queries aninhadas […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]
O Engenheiro de Dados é o profissional encarregado de planjar, desenvolver, implementar e administrar um ambiente de dados. Ou seja, ele deve pensar em um conjunto de soluções que cubram todos os aspectos do ciclo de vida dos dados, desde da ingestão de todas as fontes […]
Quais as habilidades e conhecimentos necessários para um Engenheiro de Dados? Conceitos e Fundamentos: Arquitetura de dados Conceitos sobre Data Warehouse, Data Lake, Data Lakehouse e Data Marts. Modelagem de Dados Conceitos sobre Star Schema, Snowflake Schema, Data Vault focar em entender as principais diferenças entre […]
Um Catálogo de Dados é um inventário organizado de ativos de dados na organização. Ele usa metadados para ajudar as organizações a gerenciarem seus dados. Também ajuda os profissionais de dados a coletar, organizar, acessar e enriquecer metadados para oferecer suporte à descoberta e governança de […]
Uma estratégia de dados é um plano elaborado por uma organização para gerenciar, processar, analisar e utilizar seus dados de maneira eficaz para alcançar seus objetivos comerciais. Ela envolve a definição de políticas, procedimentos e tecnologias para coletar, armazenar, proteger, compartilhar e utilizar dados de forma […]