Trilha do Engenheiro de Dados 2024

Quais as habilidades e conhecimentos necessários para um Engenheiro de Dados?

Conceitos e Fundamentos:

Arquitetura de dados

Conceitos sobre Data Warehouse, Data Lake, Data Lakehouse e Data Marts.

Modelagem de Dados

Conceitos sobre Star Schema, Snowflake Schema, Data Vault focar em entender as principais diferenças entre os modelos e suas vantagens e desvantagens

Processamento distribuído

Processamento distribuído com Spark. O Spark é a plataforma mais relevante atualmente, um bom entendimento dele permite lidar bem com as alternativas.

Engenharia de software

Implementar códigos robustos em Python com testes e boas práticas de código

Trabalhar com API’s

Todo Engenheiro(a) de dados trabalha ou trabalhará com API’s. Então é importante aprender:

• Como consumir API’s.
• Métodos de autenticação.
• Entender sobre rate limit, backfilling, Webhooks.

Orquestração de Dados

O principal produto para orquestragem hoje no mercado é o Apache Airflow. E fundamental entender como esse software funciona, boas práticas para criação de DAG’s, como funciona recursos e principais integrações.

Soluções Modernas (modern data stack)

Algumas ferramentas muito faladas ultimamente para compor stacks de dados são:

• Airbyte
• Dbt
• Datahub
• Airflow + dbt
• Duckdb

Você não precisa ficar expert em todas é importante entender onde cada uma se encaixa, quando usar e como usar.

Cloud

Escolher umas das três mais usadas: AWS, Azure e GCP. Aprender os produtos de dados que são mais usados. Atividades: como fazer um projeto basico na AWS? por exemplo: Assumindo uma APi pública, como posso subir um código python para consumir uma API, escrever no Data Lake, modelar as tabelas e inserir em um Data Warehouse usando 100% a AWS? (ou na Azure, GCP…tanto faz).

Depois de pesquisar quais serviços usar para tal tarefa, implementar um pipeline usando uma conta gratuita para aprender na prática.

Governança e Qualidade de dados

Estudaria sobre Governança de dados e qualidade. Para governança entender as boas práticas, sobre catálogo de dados, documentação. Sobre qualidade buscaria estudar sobre bibliotecas como great_expectations e soda. E como aplicar em meus códigos Python.

Bom, esse foi um caminho que eu seguiria para migrar de Analista de Dados para Engenheiro de Dados..

Então, se já tem um bom background, só precisa focar no que pode completar o seu perfil.

Faz sentido para você?

Envia para um Analista de dados que está buscando essa migração.