Azure Data Engineer
New
A
act digitalData engineering
Workplace type: remote; Locations: Warszawa, Przyokopowa 31, Warszawa, Country code: PLContractMiddle
Salary130 - 140 PLN per hour
Apply NowOpens the employer's application page
Job Details
- Languages
- Pl C1, en B2; Język angielski na poziomie minimum B2.
- Required Skills
- AWSPythonSQLGCPGitAzureDatabricksPySpark
Requirements
- Praktyczne doświadczenie w rozwiązaniach opartych na architekturze Data Lake.
- Doświadczenie w przetwarzaniu i przepływie danych z wykorzystaniem Databricks oraz Azure Data Factory.
- Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure.
- Biegła znajomość SQL i PySpark.
- Umiejętność modelowania danych oraz projektowania procesów ETL/ELT.
- Doświadczenie w programowaniu w Pythonie lub podobnym języku skryptowym wykorzystywanym do transformacji danych, orkiestracji i automatyzacji.
- Praktyczna wiedza z zaawansowanych funkcjonalności Databricks, w tym Unity Catalog, MLflow, Jobs i Pipelines.
- Rozumienie architektury danych w chmurze, w szczególności Data Lakehouse, Medallion Architecture, integracji API i architektury event-driven.
- Doświadczenie w stosowaniu CI/CD i DevOps, w tym Git oraz Azure DevOps.
- Umiejętność współpracy w zespołach interdyscyplinarnych.
- Język angielski na poziomie minimum B2.
- Doświadczenie w pracy z chmurami AWS lub GCP jest mile widziane.
- Praktyka w integracji platform danych z narzędziami analitycznymi, np. Power BI, jest mile widziana.
Responsibilities
- Projektować i wdrażać skalowalne rozwiązania do przetwarzania, transformacji i oczyszczania danych ustrukturyzowanych oraz nieustrukturyzowanych.
- Tworzyć i utrzymywać pipeline’y danych integrujące informacje z baz danych, API oraz platform przetwarzania strumieniowego.
- Rozwijać procesy ETL/ELT z wykorzystaniem Azure Data Factory i Databricks.
- Współpracować z inżynierami danych, specjalistami Data Science oraz architektami chmurowymi.
- Współpracować z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami i Product Ownerami.
- Wdrażać dobre praktyki CI/CD i DevOps w procesach przetwarzania danych.
- Integrować platformę danych z narzędziami analitycznymi, takimi jak Power BI.
View Full Description & ApplyYou'll be redirected to the employer's site
