Medallion Architecture ou “Arquitetura em Medalhões” é a ideia de uma estrutura hierárquica em camadas, onde cada camada representa um nível de qualidade e governança dos dados.A representação em camadas bronze, prata e ouro estabelece uma estrutura hierárquica para gerenciar e organizar os dados de acordo […]
Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Quem trabalha com a poderosa biblioteca Python Pandas se depara com centenas de funções adequadas para infinitos cenários mas, no dia a dia, acabamos usando apenas um punhado que realizam a maioria das tarefas que precisamos: Funções de 𝗟𝗲𝗶𝘁𝘂𝗿𝗮 𝗱𝗲 𝗗𝗮𝗱𝗼𝘀: 1. pd.read_csv(): permite acessar dados […]
O contínuo e vertiginoso crescimento do volume de dados produzidos por nossas atividades (Big Data, Internet das Coisas (IoT), softwares como serviço (SaaS), atividades na nuvem) estão causando uma explosão no número de fontes de dados, os processos que geram dados. Mas a maioria desses dados […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
Existem vários métodos de disponíveis para treinamento de IA generativa, cada um deles tem seus pontos fortes únicos e casos de uso ideais: Model Training (Treinamento de modelo): envolve a construção de um modelo de IA a partir do zero, exigindo dados significativos e recursos computacionais. […]
A elaboração de queries SQL costuma seguir um padrão de desenvolvimento bastante pobre e desleixado, normalmente realizado por profissionais de banco de dados que tentam entender as necessidades do negócio, elas tendem a se tornar um código espaguete rapidamente e uma sucessão de sub queries aninhadas […]
A movimentação de dados é o processo de trazer os dados desde uma fonte (banco de dados, stream, sinais de máquinas) para ser armazenada em outro lugar. Esse processo pode envolver bastante complexidade e exigir a interconecção de muitos sistemas. Para facilitar a vida do engenheiro […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]