Data Engineer (Snowflake & Airflow)
New
T
TQLO SP. Z O.O.Data engineering
100% zdalnie (z terytorium Polski)ContractMiddle
Salary120 - 145 PLN per hour
Apply NowOpens the employer's application page
Job Details
- Languages
- Języka angielskiego na poziomie B2/C1; Languages: pl C1, en B2
- Experience
- Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering.
- Required Skills
- PythonSQLApache AirflowGitSnowflakeCI/CDdbt
Requirements
- Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering.
- Bardzo dobra znajomość Apache Airflow: DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills oraz idempotent DAG design.
- Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest.
- Zaawansowana znajomość SQL, w tym CTE, window functions i optymalizacji zapytań.
- Praktyczne doświadczenie ze Snowflake, w tym warehouses, stages, external volumes i COPY INTO.
- Doświadczenie z dbt: models, tests, macros, snapshots i incremental models.
- Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON i CSV oraz polityk IAM.
- Doświadczenie z Git i CI/CD.
- Znajomość języka angielskiego na poziomie B2/C1.
- Samodzielność, odpowiedzialność za jakość rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi.
- Mile widziana znajomość Docker i Kubernetes, Apache Iceberg lub Delta Lake, narzędzi Great Expectations lub Soda albo modelowania wymiarowego danych (Kimball).
Responsibilities
- Projektować, tworzyć i rozwijać skalowalne pipeline’y danych oraz DAG-i w Apache Airflow z wykorzystaniem Pythona.
- Implementować procesy ETL/ELT integrujące dane z API, baz danych i plików do Data Lake (AWS S3) oraz Snowflake.
- Modelować i transformować dane z wykorzystaniem dbt.
- Optymalizować zapytania SQL oraz wydajność i koszty przetwarzania danych w Snowflake.
- Projektować i wdrażać monitoring, alertowanie oraz obsługę błędów w pipeline’ach danych.
- Implementować kontrolę jakości danych, w tym testy i walidacje.
- Opracowywać i aktualizować dokumentację techniczną dostarczanych rozwiązań.
View Full Description & ApplyYou'll be redirected to the employer's site
