Олег Р.
AI / ML QA Engineer
Інформація
Доступні
Працевлаштування
Повний день
Часткова
Експертиза
AI QA
ML QA
LLM Testing
RAG Testing
AI Quality Assurance
Model Evaluation
AI Monitoring
Місцезнаходження
Київ, Україна
Досвід роботи
4+ років
Навички
Selenium
Cypress
Playwright
Postman
Python
Langfuse
LangSmith
Promptfoo
DeepEval
Helicone
MLflow
Weights & Biases
SQL
LLM evaluation
Prompt testing
RAG testing
AI monitoring
Model validation
Performance testing
Мови
Professional Summary
AI/ML QA Engineer з досвідом тестування AI-систем, LLM-додатків та ML-моделей. Спеціалізується на оцінці якості моделей, виявленні помилок, тестуванні поведінки AI у реальних сценаріях та контролі стабільності систем у production.
Фокусується на перевірці не тільки коректності відповідей, а й стійкості, передбачуваності та бізнес-логіки AI-рішень.
Ключові навички
AI / LLM QA
- тестування LLM-додатків
- перевірка prompt robustness
- виявлення hallucinations
- оцінка релевантності відповідей
- тестування edge-case сценаріїв
ML QA
- перевірка accuracy, precision, recall
- аналіз помилок моделі
- тестування на різних сегментах даних
- оцінка якості класифікації
RAG QA
- перевірка якості retrieval
- оцінка релевантності джерел
- тестування зв'язки retrieval + generation
Performance QA
- навантажувальне тестування
- перевірка latency
- тестування стабільності під навантаженням
Monitoring
- налаштування моніторингу AI-систем
- аналіз логів
- виявлення деградації якості
Досвід роботи
AVADA MEDIA
AI/ML QA Engineer
- тестування AI-агентів та AI-сервісів;
- перевірка якості LLM-відповідей;
- аналіз помилок та нестабільної поведінки моделей;
- тестування RAG-систем;
- розробка evaluation datasets;
- налаштування моніторингу AI у production;
- проведення навантажувального тестування;
- взаємодія з AI та ML командами.
Ключові проєкти
- тестування точності аналізу розмов
- перевірка коректності транскрипцій та висновків
Результат: підвищення якості аналізу дзвінків
AI-агент для генерації відповідей у CRM
- перевірка релевантності відповідей
- тестування діалогових сценаріїв
Результат: стабільна комунікація із клієнтами
- тестування відповідей AI-консультанта
- перевірка edge-case запитів
Результат: покращення якості консультацій
- тестування голосових сценаріїв
- перевірка latency та стабільності
Результат: стійкість системи під час навантаження
Освіта
Бакалавр комп'ютерних наук
Сильні сторони
- Глибоке розуміння AI-систем
- Фокус на якості та стабільності
- Робота з LLM та ML моделями
- Вміння знаходити критичні помилки
- Досвід тестування production AI рішень
- Системний підхід до QA
