Medallion Architecture ou “Arquitetura em Medalhões” é a ideia de uma estrutura hierárquica em camadas, onde cada camada representa um nível de qualidade e governança dos dados.A representação em camadas bronze, prata e ouro estabelece uma estrutura hierárquica para gerenciar e organizar os dados de acordo […]
Dados mestres e dados de referência são conceitos relacionados, mas têm algumas diferenças importantes: Dados Mestres Dados mestres são os principais registros de dados que são essenciais para as operações de uma organização. Eles representam os objetos fundamentais com os quais uma empresa opera e geralmente […]
Trabalhar com qualidade de dados se envolve monitorar as fontes de dados e detectar problemas anomalias. Há fontes de dados entrando. Podem ser dados estruturados ou seus data lakes. Onde quer que se armazenem os dados importantes, é necessário analisá-los. A plataforma deve analisar suas fontes […]
Quem trabalha com a poderosa biblioteca Python Pandas se depara com centenas de funções adequadas para infinitos cenários mas, no dia a dia, acabamos usando apenas um punhado que realizam a maioria das tarefas que precisamos: Funções de 𝗟𝗲𝗶𝘁𝘂𝗿𝗮 𝗱𝗲 𝗗𝗮𝗱𝗼𝘀: 1. pd.read_csv(): permite acessar dados […]
No armazenamento de dados, a escolha do schema do banco de dados apropriado define a estrutura lógica e os relacionamentos entre as tabelas de dados. Essa escolha estabelece a base para um gerenciamento organizado e eficiente. Star Schema: A arquitetura desse modelo gira em torno de […]
Um pipeline de dados é uma série de etapas envolvidas no processamento de dados de uma organização. Normalmente, a pipeline de dados envolve a Ingestão, e uma sequência de estapas de processamento que transformam os dados de acordo com a lógica do negócio e, cada etapa, […]
O contínuo e vertiginoso crescimento do volume de dados produzidos por nossas atividades (Big Data, Internet das Coisas (IoT), softwares como serviço (SaaS), atividades na nuvem) estão causando uma explosão no número de fontes de dados, os processos que geram dados. Mas a maioria desses dados […]
Data Mesh e Data Fabric são duas concepções de arquitetura de dados concorrentes. Elas se referem formas de governar e disponibilizar os dados dentro de uma organização. Mesh Fabric Ambos apontam ao gerenciamento de grandes quantidades de dados, mas Data Mesh é uma concepção descentralizada e […]
A Prompt Engineering, muitas vezes um aspecto subestimado no campo da IA generativa, é uma técnica sutil, mas poderosa, para extrair capacidades notáveis de modelos pré-treinados. Seu poder não reside em alterar a mecânica interna da IA, mas em guiar habilmente seus resultados por meio de […]
Retrieving Augmented Generating – Geração Aumentada de Recuperação (RAG): Ampliando PerspectivasA geração aumentada de recuperação (RAG) representa um avanço significativo na IA generativa, fna qual o modelo tradicional de linguagem grande (LLM) é aprimorado pela integração com fontes externas de conhecimento. Este método amplia a perspectiva […]