Junior Data Engineer (Airflow / Snowflake)
New
T
TQLO SP. Z O.O.Data Engineering
100% zdalnie (z Polski); z dowolnego miejsca w PolsceContractJunior
Salary100 - 125 PLN per month
Apply NowOpens the employer's application page
Job Details
- Languages
- Język angielski na poziomie C1; pl C1
- Experience
- Około 2 lat komercyjnego doświadczenia w obszarze Data Engineering
- Required Skills
- PythonSQLApache AirflowGitSnowflakeAzureCI/CDdbt
Requirements
- Około 2 lat komercyjnego doświadczenia w obszarze Data Engineering.
- Praktyczna znajomość Apache Airflow, w tym operators, sensors, hooks, TaskFlow API, XCom i backfills.
- Dobra znajomość Pythona oraz umiejętność pisania czytelnego i testowalnego kodu.
- Doświadczenie z pytest.
- Bardzo dobra znajomość SQL, w tym CTE, funkcji okna i optymalizacji zapytań.
- Praktyczne doświadczenie z Snowflake.
- Doświadczenie z dbt, w tym models, tests, macros, snapshots i incremental models.
- Doświadczenie z AWS S3, Data Lake, partycjonowaniem oraz formatami Parquet, JSON i CSV.
- Znajomość Git i podstaw procesów CI/CD.
- Samodzielność i komunikatywność.
- Znajomość języka angielskiego na poziomie C1.
- Mile widziane: Docker, Kubernetes, Apache Iceberg lub Delta Lake, Great Expectations lub Soda oraz modelowanie wymiarowe Kimball.
Responsibilities
- Tworzyć, rozwijać i utrzymywać DAG-i w Apache Airflow z wykorzystaniem Pythona.
- Zasilać Data Lake w AWS S3 oraz hurtownię danych Snowflake.
- Budować pipeline’y ETL/ELT integrujące dane z API, baz danych i plików.
- Modelować i transformować dane z wykorzystaniem dbt.
- Optymalizować zapytania SQL i wydajność Snowflake.
- Testować i walidować dane oraz monitorować procesy przetwarzania i obsługiwać błędy.
- Współpracować z analitykami, zespołami technicznymi i przedstawicielami biznesu.
- Tworzyć i aktualizować dokumentację techniczną.
View Full Description & ApplyYou'll be redirected to the employer's site
