Senior Azure Data Engineer
New
B
Be in IT to butikowa firma rekrutacyjna IT.Aviation data
Locations: Warszawa, Śródmieście, Warszawa, Country code: PL; Współpraca w pełni zdalna.ContractSenior
Salary130 - 160 PLN per hour
Apply NowOpens the employer's application page
Job Details
- Languages
- Znajomość języka angielskiego na poziomie B2 lub C1
- Experience
- Minimum 7 lat doświadczenia w IT, w tym 5 jako Azure Data Engineer.
- Required Skills
- PythonSQLMicrosoft AzureSparkCI/CDTerraformDatabricksPySpark
Requirements
- Posiadaj minimum 7 lat doświadczenia w IT, w tym 5 lat jako Azure Data Engineer.
- Miej komercyjne doświadczenie w obszarze Data Engineering.
- Bardzo dobrze znaj Databricks.
- Miej doświadczenie w pracy z Apache Spark/PySpark oraz projektach związanych z przetwarzaniem Big Data.
- Bardzo dobrze znaj Python i SQL.
- Miej doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT.
- Miej doświadczenie z usługami Azure związanymi z przetwarzaniem i przechowywaniem danych.
- Miej doświadczenie we wdrażaniu CI/CD dla aplikacji Databricks.
- Znaj Terraform i/lub Databricks Asset Bundles oraz standardy i narzędzia wykorzystywane w przetwarzaniu Big Data.
- Znaj angielski na poziomie B2 lub C1, umożliwiającym swobodną komunikację w międzynarodowym środowisku.
- Dostępność ASAP jest mile widziana; akceptowalny jest okres maksymalnie 30 dni kalendarzowych od decyzji.
- Wykształcenie wyższe w Computer Science, Data Engineering, matematyce lub kierunku pokrewnym jest mile widziane.
Responsibilities
- Projektuj, rozwijaj i utrzymuj skalowalne pipeline’y danych w Azure Databricks, Apache Spark, Python i SQL.
- Projektuj i wdrażaj procesy CI/CD dla środowiska Databricks z wykorzystaniem narzędzi Azure, Terraform oraz Databricks Asset Bundles.
- Przetwarzaj i transformuj duże wolumeny danych operacyjnych i technicznych.
- Rozwijaj oraz optymalizuj procesy ETL/ELT.
- Pracuj z usługami Azure odpowiedzialnymi za przetwarzanie i przechowywanie danych.
- Optymalizuj wydajność procesów opartych o Apache Spark.
- Implementuj mechanizmy walidacji danych oraz kontroli jakości.
- Analizuj wymagania biznesowe i techniczne oraz przekładaj je na rozwiązania data engineering.
- Rozwiązuj problemy związane z przetwarzaniem danych i stabilnością pipeline’ów.
- Twórz oraz aktualizuj dokumentację techniczną.
View Full Description & ApplyYou'll be redirected to the employer's site
