Сергей П.
Senior Data Engineer
Информация
Работа
Экспертиза
Расположение
Киев, Украина
Опыт работы
6+ лет
CV
Скачать PDFProfessional Summary
Senior Data Engineer с опытом построения data pipelines и инфраструктуры данных для аналитики и AI-систем. Специализируется на сборе, обработке и подготовке данных из различных источников, проектировании data lakes и data warehouses, а также обеспечении стабильной доставки данных в ML и AI-продукты.
Фокусируется на создании масштабируемых и отказоустойчивых data-систем, которые обеспечивают бизнес актуальными и структурированными данными для принятия решений и обучения моделей.
Ключевые навыки
Data Engineering
- построение ETL / ELT pipelines
- batch и streaming обработка данных
- интеграция источников данных (API, базы, логи)
- подготовка training datasets для ML
Big Data
- Apache Spark / PySpark
- распределённая обработка данных
- оптимизация вычислений
Data Storage
- проектирование data lakes
- построение data warehouses
- работа с BigQuery, Snowflake, Redshift
Orchestration & Streaming
- Apache Airflow
- Kafka
- автоматизация data pipelines
Инфраструктура
- AWS / GCP
- Docker
- построение scalable data architecture
Опыт работы
AVADA MEDIA
Senior Data Engineer
- проектирование и реализация data pipelines для AI и аналитики;
- сбор данных из CRM, API, логов и внешних сервисов;
- обработка и очистка данных;
- построение data lakes и аналитических хранилищ;
- подготовка datasets для ML моделей;
- настройка batch и streaming процессов;
- оптимизация производительности обработки данных;
- интеграция data-инфраструктуры в AI-проекты.
Ключевые проекты
- сбор и обработка аудио и текстовых данных
- подготовка данных для анализа звонков
Результат: стабильный поток данных для AI-аналитики
AI-агент для анализа предложений поставщиков
- извлечение данных из документов
- структурирование информации
Результат: подготовленные datasets для AI анализа
- обработка голосовых данных
- интеграция потоков данных в систему
Результат: автоматизация обработки звонков
AI-агент для генерации коммерческих предложений
- объединение данных из CRM, документов и баз
- подготовка данных для генерации
Результат: ускорение бизнес-процессов
Образование
Бакалавр компьютерных наук
Сильные стороны
- Проектирование data architecture
- Работа с большими объемами данных
- Оптимизация pipeline и инфраструктуры
- Понимание AI и ML процессов
- Стабильные и масштабируемые решения
- Фокус на бизнес-результате
