Data Engineer

Текущий статус/должность: Data Engineer.

Мои компетенции и опыт

Работал в крупном российском холдинге компании FMCG, один из лидеров по производству детского питания.

Ключевые результаты:
- Провел полный рефакторинг ETL процессов по загрузке данных из API, NFS, FTP с легаси решений и ручных выгрузок на единую платформу Apache Airflow + Spark. Разработал кастомные операторы и сенсоры, унифицировал логику работы пайплайнов. Внедрил обработку инкрементальных данных с использованием Spark, что снизило нагрузку на источники и сократило среднее время выполнения ETL-задач в среднем на 30%.
- Реализовал инкрементальное обновление аналитических витрин, оптимизировав процесс доставки данных для BI-систем. Обновления стали проходить быстрее, что обеспечило бизнесу доступ к актуальной аналитике почти в реальном времени.
- Построил систему контроля качества данных на Python c автоматическими проверками целостности, полноты, аномалий, консистентности. Реализовал пайплайн дедупликации и корректировки мастер-данных , что снизило количество ошибок в аналитических отчётах
- Участвовал в миграции DWH с MS SQL на архитектуру S3 - Postgres - Clickhouse. Разработал и реализовал стратегию переноса исторических данных (более 3 ТБ). Обеспечил непрерывность бизнес-процессов за счет параллельной работы старой и новой систем и плавного переключения потребителей данных.
- Внедрил OpenMetadata в качестве централизованной платформы данных: каталог источников, автоматическая документация пайплайнов, слои DWH, бизнес-глоссарий, lineage. Обеспечил прозрачность и единое понимание данных для аналитиков, разработчиков и продуктовых команд.

Стек технологий:
Python, Airflow, Spark, ClickHouse, PostgreSQL, MS SQL Server, S3, Yandex Cloud, Docker, Git, OpenMetadata, Bash, REST API, Pandas.