Data Developer (Azure/Databricks) Senior
New
C
CI&TTechnology
BrazilFull-TimeSenior
Salary not disclosed
Apply NowOpens the employer's application page
Job Details
- Required Skills
- PythonSQLCI/CDData modelingDatabricksGitHubPySpark
Requirements
- Experiência sólida em Azure Data Services e Databricks.
- Experiência com Databricks com PySpark.
- Experiência com Arquitetura medalhão.
- Domínio de Python e SQL para manipulação e transformação de dados.
- Conhecimento em CI/CD e versionamento com GitHub.
- Conhecimento em modelagem de dados analíticos (camadas de ingestão, preparação e consumo).
- Vivência em projetos de migração para cloud.
- Experiência em ETL/ELT e integração de grandes volumes de dados.
- Experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.
- Experiência com projetos de IA e automação de pipelines.
Responsibilities
- Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.
- Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
- Modelar e evoluir tabelas no Unity Catalog, aplicando boas práticas de nomenclatura e versionamento de schema.
- Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.
- Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
- Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em ambiente cloud.
- Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
View Full Description & ApplyYou'll be redirected to the employer's site
