Data Engineer - Mid - Remote Hibrido Lisboa

1. Estruturação do Pipeline de Dados

• Constrói, otimiza e mantém pipelines de ingestão, transformação e carga de dados (ETL/ELT).
• Define a arquitetura dos pipelines, os padrões, camadas (raw, bronze, silver, gold) e governança.
• Coordena a implementação técnica dos pipelines, garantindo boas práticas e padrões definidos pela arquitetura.

2. Visão Técnica e Estratégica

• Foco na execução técnica, performance e confiabilidade do código e jobs.
• Foco em escalabilidade, interoperabilidade entre sistemas, e desenho da malha de dados.
• Equilibra visão técnica e de produto; atua como ponte entre time técnico e stakeholders.

3. Ferramentas e Tecnologias

• Especialista em Spark, SQL, Python, Delta Lake e Arquitetura de dados.
• Escolhe as ferramentas e tecnologias do ecossistema - Azure Fabric.
• Garante que o time esteja capacitado nas tecnologias escolhidas e ajuda a resolver gargalos técnicos.

4. Segurança e Qualidade dos Dados

• Implementa testes, validações, e lida com tratamento de erros e dados corrompidos.
• Define padrões de qualidade, catalogação, segurança e políticas de acesso.
• Garante que essas diretrizes sejam seguidas no dia a dia do time.

5. Evolução Contínua e Inovação

• Automatiza e monitora para melhorar continuamente performance e custo.
• Avalia e propõe novas abordagens arquiteturais conforme o crescimento do negócio.
• Estimula inovação no time, prom> o POCs e adoção de novas soluções alinhadas à estratégia.