Олег Р.
AI / ML QA Engineer
Информация
Доступный
Работа
Полный день
Частичная
Экспертиза
AI QA
ML QA
LLM Testing
RAG Testing
AI Quality Assurance
Model Evaluation
AI Monitoring
Расположение
Киев, Украина
Опыт работы
4+ лет
Навыки
Selenium
Cypress
Playwright
Postman
Python
Langfuse
LangSmith
Promptfoo
DeepEval
Helicone
MLflow
Weights & Biases
SQL
LLM evaluation
Prompt testing
RAG testing
AI monitoring
Model validation
Performance testing
Языки
CV
Скачать PDFProfessional Summary
AI / ML QA Engineer с опытом тестирования AI-систем, LLM-приложений и ML-моделей. Специализируется на оценке качества моделей, выявлении ошибок, тестировании поведения AI в реальных сценариях и контроле стабильности систем в production.
Фокусируется на проверке не только корректности ответов, но и устойчивости, предсказуемости и бизнес-логики AI-решений.
Ключевые навыки
AI / LLM QA
- тестирование LLM-приложений
- проверка prompt robustness
- выявление hallucinations
- оценка релевантности ответов
- тестирование edge-case сценариев
ML QA
- проверка accuracy, precision, recall
- анализ ошибок модели
- тестирование на разных сегментах данных
- оценка качества классификации
RAG QA
- проверка качества retrieval
- оценка релевантности источников
- тестирование связки retrieval + generation
Performance QA
- нагрузочное тестирование
- проверка latency
- тестирование стабильности под нагрузкой
Monitoring
- настройка мониторинга AI-систем
- анализ логов
- выявление деградации качества
Опыт работы
AVADA MEDIA
AI / ML QA Engineer
- тестирование AI-агентов и AI-сервисов;
- проверка качества LLM-ответов;
- анализ ошибок и нестабильного поведения моделей;
- тестирование RAG-систем;
- разработка evaluation datasets;
- настройка мониторинга AI в production;
- проведение нагрузочного тестирования;
- взаимодействие с AI и ML командами.
Ключевые проекты
- тестирование точности анализа разговоров
- проверка корректности транскрипций и выводов
Результат: повышение качества анализа звонков
AI-агент для генерации ответов в CRM
- проверка релевантности ответов
- тестирование диалоговых сценариев
Результат: стабильная коммуникация с клиентами
- тестирование ответов AI-консультанта
- проверка edge-case запросов
Результат: улучшение качества консультаций
- тестирование голосовых сценариев
- проверка latency и стабильности
Результат: устойчивость системы при нагрузке
Образование
Бакалавр компьютерных наук
Сильные стороны
- Глубокое понимание AI-систем
- Фокус на качестве и стабильности
- Работа с LLM и ML моделями
- Умение находить критические ошибки
- Опыт тестирования production AI решений
- Системный подход к QA
