Senior Data Developer (Azure/Databricks)
New
C
CI&TData engineering
Listing location: Brazil; Workplace type: Remote; Structured job location: BrazilFull-TimeSenior
Salary not disclosed
Apply NowOpens the employer's application page
Job Details
- Required Skills
- PythonSQLCI/CDDatabricksGitHubPySpark
Requirements
- Ter experiência sólida em Azure Data Services e Databricks.
- Ter experiência com Databricks e PySpark.
- Ter experiência com arquitetura medalhão.
- Dominar Python e SQL para manipulação e transformação de dados.
- Conhecer CI/CD e versionamento com GitHub.
- Conhecer modelagem de dados analíticos, incluindo camadas de ingestão, preparação e consumo.
- Ter vivência em projetos de migração para cloud.
- Ter experiência com ETL/ELT e integração de grandes volumes de dados.
- Ter experiência com deploy de modelos de IA e ferramentas como Azure ML.
- Ter experiência com projetos de IA e automação de pipelines.
Responsibilities
- Desenvolver e manter pipelines de dados ETL/ELT em Azure, utilizando Databricks para processamento e integração.
- Implementar práticas de CI/CD para automatizar deploys e versionamento de código no GitHub.
- Modelar e evoluir tabelas no Unity Catalog, aplicando boas práticas de nomenclatura e versionamento de schema.
- Projetar e otimizar modelos de dados para escalabilidade, performance e governança.
- Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
- Colaborar com times de negócio e ciência de dados no deploy de modelos de IA em ambiente cloud.
- Aplicar técnicas de data profiling e monitoramento para garantir a qualidade e consistência dos dados.
- Documentar processos, arquiteturas e boas práticas de engenharia de dados.
View Full Description & ApplyYou'll be redirected to the employer's site
