Mid Data Engineer (AWS)
New
B
BlueSoftData Engineering
Warszawa, Al. Jerozolimskie 134, Warszawa, Country code: PLContractMiddle
Salary not disclosed
Apply NowOpens the employer's application page
Job Details
- Languages
- Pl C1, en B2
- Experience
- Kilka lat doświadczenia w inżynierii danych.
- Required Skills
- AWSPythonApache AirflowETLJenkinsKafkaTerraformPySpark
Requirements
- Kilka lat doświadczenia w inżynierii danych.
- Bardzo dobra znajomość Python, PySpark oraz procesów ETL/ELT.
- Praktyczne doświadczenie z Data Lake/Lakehouse, Apache Iceberg, Parquet i architekturą medalionową.
- Dobra znajomość usług AWS: S3, Glue, EMR, Athena, MWAA (Airflow), Lambda, MSK (Kafka), Kinesis Data Streams.
- Doświadczenie z Terraform, GitHub oraz Jenkins.
- Dobra znajomość języka angielskiego (B2).
- Znajomość języka polskiego (C1).
Responsibilities
- Projektowanie i rozwój pipeline'ów w Python, PySpark i MWAA (Airflow).
- Implementacja rozwiązań w oparciu o S3, Glue, EMR, Athena, Lambda, MSK (Kafka) i Kinesis Data Streams.
- Optymalizacja przetwarzania, storage'u i kosztów platformy AWS Data Lake.
- Rozwój infrastruktury z wykorzystaniem Terraform, GitHub i Jenkins.
- Implementacja mechanizmów Data Quality / Data Governance oraz współpraca przy budowie produktu.
- Debugowanie pipeline'ów.
View Full Description & ApplyYou'll be redirected to the employer's site
