Engenheiro de dados sr. (2)

Ingestão de Dados

• Dataflow (Apache Beam) pipelines de ETL/ELT escaláveis. Extração de origens externas como base Oracle na OCI, SQLserver on-premise;
• Pub/Sub ingestão em tempo real;
• Storage Transfer ingestão de dados em batch originados no próprio GCS ou externo como buckets S3 da AWS;
• Integração com bancos externos (Oracle, SQL Server, MySQL) via JDBC / Dataflow templates ou extração customizada.

Armazenamento e Processamento

• BigQuery modelagem, otimização de queries, particionamento e clustering;
• Cloud Storage Data Lake (raw, bronze, silver, gold);
• Dataproc quando necessário;
• Bigtable e Firestore para casos NoSQL.

Transformação e Modelagem

• Dataform ou dbt para orquestração SQL no BigQuery;
• Boas práticas de modelagem dimensional;
• Processamento batch e streaming (Beam, SQL streaming).

Orquestração...