O contínuo e vertiginoso crescimento do volume de dados produzidos por nossas atividades (Big Data, Internet das Coisas (IoT), softwares como serviço (SaaS), atividades na nuvem) estão causando uma explosão no número de fontes de dados, os processos que geram dados. Mas a maioria desses dados […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
A elaboração de queries SQL costuma seguir um padrão de desenvolvimento bastante pobre e desleixado, normalmente realizado por profissionais de banco de dados que tentam entender as necessidades do negócio, elas tendem a se tornar um código espaguete rapidamente e uma sucessão de sub queries aninhadas […]
A movimentação de dados é o processo de trazer os dados desde uma fonte (banco de dados, stream, sinais de máquinas) para ser armazenada em outro lugar. Esse processo pode envolver bastante complexidade e exigir a interconecção de muitos sistemas. Para facilitar a vida do engenheiro […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]
O Engenheiro de Dados é o profissional encarregado de planjar, desenvolver, implementar e administrar um ambiente de dados. Ou seja, ele deve pensar em um conjunto de soluções que cubram todos os aspectos do ciclo de vida dos dados, desde da ingestão de todas as fontes […]
Quais as habilidades e conhecimentos necessários para um Engenheiro de Dados? Conceitos e Fundamentos: Arquitetura de dados Conceitos sobre Data Warehouse, Data Lake, Data Lakehouse e Data Marts. Modelagem de Dados Conceitos sobre Star Schema, Snowflake Schema, Data Vault focar em entender as principais diferenças entre […]