Ajuste fino: a arte da especializaçãoO ajuste fino em IA é semelhante a aprimorar as capacidades da IA para realizar uma tarefa específica de uma forma excepcional. Envolve pegar um modelo pré-treinado – um modelo que já aprendeu padrões gerais de um grande conjunto de dados […]
No domínio da IA generativa, a escolha do método apropriado para a otimização do modelo de IA é crucial. Este artigo se aprofunda em quatro técnicas essenciais: treinamento de modelo, ajuste fino, geração aumentada de recuperação (RAG) e engenharia de prompt. Compararemos essas abordagens para fornecer […]
Existem vários métodos de disponíveis para treinamento de IA generativa, cada um deles tem seus pontos fortes únicos e casos de uso ideais: Model Training (Treinamento de modelo): envolve a construção de um modelo de IA a partir do zero, exigindo dados significativos e recursos computacionais. […]
Em um projeto de Data Engineering pode ser interessante implementar técnicas de validação de dados junto do processo de modelagem. É possível usar Assertions (declarações) Ferramantas como o Dataform para modelagem de dados no Google BigQuery, permitem implementar testes diretamente nas queries dentro da ferramenta. Uma […]
A elaboração de queries SQL costuma seguir um padrão de desenvolvimento bastante pobre e desleixado, normalmente realizado por profissionais de banco de dados que tentam entender as necessidades do negócio, elas tendem a se tornar um código espaguete rapidamente e uma sucessão de sub queries aninhadas […]
A movimentação de dados é o processo de trazer os dados desde uma fonte (banco de dados, stream, sinais de máquinas) para ser armazenada em outro lugar. Esse processo pode envolver bastante complexidade e exigir a interconecção de muitos sistemas. Para facilitar a vida do engenheiro […]
Arquitetura com referências para Plataformas de Dados Modernas O Modern Data Stack é uma realidade que agrupa diversas ferramentas para podermos montar arquiteturas de dados modernas que entregam alto valor em menos tempo, o sempre fundamental Tempo Para Valor. O surgimento do MDS se deu por vários motivos:– […]
O Engenheiro de Dados é o profissional encarregado de planjar, desenvolver, implementar e administrar um ambiente de dados. Ou seja, ele deve pensar em um conjunto de soluções que cubram todos os aspectos do ciclo de vida dos dados, desde da ingestão de todas as fontes […]
Quais as habilidades e conhecimentos necessários para um Engenheiro de Dados? Conceitos e Fundamentos: Arquitetura de dados Conceitos sobre Data Warehouse, Data Lake, Data Lakehouse e Data Marts. Modelagem de Dados Conceitos sobre Star Schema, Snowflake Schema, Data Vault focar em entender as principais diferenças entre […]