Senior Data Engineer
New
A
ALTEN PolskaData Engineering
Praca 100% zdalna (z Polski)Full-TimeSenior
Salary not disclosed
Apply NowOpens the employer's application page
Job Details
- Languages
- Pl C1, en C1
- Experience
- 5-6 lat
- Required Skills
- PythonApache AirflowApache HadoopETLGCPJavaSparkTerraformBigQuery
Requirements
- Minimum 5-6 lat doświadczenia w Data Engineering, Big Data lub platformach danych, w tym w projektach chmurowych.
- Bardzo dobra znajomość Google Cloud Platform (Dataproc, Spark, Hadoop Ecosystem, Dataflow, Apache Beam, BigQuery, Cloud Composer, Apache Airflow).
- Doświadczenie w projektach migracyjnych z on-premise do chmury.
- Bardzo dobra znajomość języka Python w obszarze ETL, automatyzacji i budowy pipeline'ów danych.
- Znajomość Javy w kontekście Spark, Apache Beam oraz przetwarzania danych batch i streamingu.
- Doświadczenie w projektowaniu i wdrażaniu złożonych pipeline'ów danych w środowiskach produkcyjnych.
- Praktyczna znajomość narzędzi takich jak Airflow, Git, Terraform.
- Bardzo dobra znajomość języka angielskiego (min. B2+/C1).
- Znajomość zagadnień Data Governance, bezpieczeństwa danych oraz zarządzania dostępami.
Responsibilities
- Udział w migracji platformy danych z Cloudera/on-premise do Google Cloud Platform.
- Projektowanie, rozwój i optymalizacja rozwiązań danych w oparciu o usługi GCP.
- Tworzenie i utrzymanie wydajnych pipeline'ów danych (batch oraz streaming).
- Praca z usługami GCP takimi jak Dataproc, Dataflow, BigQuery oraz Cloud Composer.
- Analiza istniejących rozwiązań legacy i rekomendowanie docelowej architektury w chmurze.
- Współpraca z zespołami biznesowymi, architektami oraz partnerami technologicznymi.
- Dbanie o skalowalność, bezpieczeństwo oraz optymalizację kosztową rozwiązań danych.
- Wsparcie procesów automatyzacji, orkiestracji oraz CI/CD.
View Full Description & ApplyYou'll be redirected to the employer's site
