Senior Automation Test Engineer – AI Systems
New
S
SiiHealthTech AI
PolandFull-TimeSenior
Salary not disclosed
Apply NowOpens the employer's application page
Job Details
- Languages
- Polish (B2), English (B2/Advanced)
- Experience
- Minimum 5-letnie doświadczenie w testowaniu oprogramowania lub inżynierii jako ści, z co najmniej 2-letnim doświadczeniem w testowaniu lub ocenie aplikacji AI/ML, przepływów pracy LLM lub systemów agentowych
- Required Skills
- Node.jsPythonJavascriptMLFlowTypeScriptAngular
Requirements
- Minimum 5-letnie doświadczenie w testowaniu oprogramowania lub inżynierii jakości.
- Co najmniej 2-letnie doświadczenie w testowaniu lub ocenie aplikacji AI/ML, przepływów pracy LLM lub systemów agentowych.
- Biegłość w Pythonie do skryptów testowych backend/AI.
- Znajomość JavaScript/TypeScript w ekosystemach testowych Node.js i Angular.
- Doświadczenie z ramami oceny takimi jak LangSmith, Langfuse, EvidentlyAI, Ragas lub MLflow.
- Umiejętność wyboru odpowiednich metryk dla problemów klasyfikacji lub jakości generacji.
- Znajomość koncepcji monitorowania dryfu ML, śledzenia metryk oraz narzędzi do obserwowalności (np. Datadog lub Grafana).
- Silne umiejętności projektowania na poziomie systemu.
- Zdolność do budowania infrastruktury testowej i oceny opartej na produkcji od podstaw.
- Zaawansowany poziom języka angielskiego.
- Znajomość języka polskiego na poziomie B2.
Responsibilities
- Projektowanie, budowanie i utrzymywanie ram oceny dla dużych modeli językowych (LLM) oraz niestandardowych systemów agentowych.
- Opracowywanie zautomatyzowanych mechanizmów oceny, asercji i zestawów testowych do pomiaru dokładności agentów, niezawodności rozumowania, wskaźników halucynacji oraz poprawności użycia narzędzi.
- Symulowanie złożonych, wieloetapowych przepływów pracy agentów w celu odkrywania przypadków brzegowych w autonomicznym podejmowaniu decyzji.
- Współpraca z zespołami inżynieryjnymi w celu ustanowienia solidnych ram monitorowania dla dryfu danych, dryfu koncepcji oraz degradacji wydajności modeli w produkcji.
- Implementacja systemów telemetrycznych i alarmowych do śledzenia opóźnień, użycia tokenów, efektywności kosztowej oraz jakości wyników w czasie.
- Odpowiedzialność za strategię testowania end-to-end w całym stosie technologicznych, zapewniając płynne połączenie między frontendem Angular, backendem Node.js oraz mikroserwisami AI w Pythonie.
- Pisanie czystych, łatwych w utrzymaniu i skalowalnych skryptów testowych w Pythonie oraz JavaScript/TypeScript.
- Przeprowadzanie rygorystycznych testów API, testów integracyjnych oraz testów wydajności/obciążenia dla mikroserwisów o wysokiej przepustowości.
- Integracja systemów oceny i testowania AI w pipeline'ach CI/CD.
- Definiowanie i śledzenie kluczowych wskaźników jakości (KPI) dla niezawodności oprogramowania i zachowania modeli AI.
View Full Description & ApplyYou'll be redirected to the employer's site
