Ведущий инженер данных

На данный момент Ведущий инженер данных.

Мои компетенции и опыт

Обязанности:
- Разработка и сопровождение ETL/ELT-процессов на Apache Airflow, Apache NiFi, Plus7Formit
- Написание и оптимизация SQL-запросов (сложные джойны, оконные функции, агрегации) на Greenplum, ClickHouse, PostgreSQL, Oracle
- Автоматизация сбора и передачи данных из REST API-источников с использованием Python
- Проектирование витрин данных и схем хранения под нужды аналитики и систем-потребителей
- Поддержка и администрирование контейнеров Airflow в OKD (RedHat OpenShift)
- Ведение технической документации в Confluence, управление задачами в Jira

Ключевые достижения:
- ETL-пайплайны и оркестрация: поддерживаю в продакшене 25+ DAGов загрузки данных из API-источников на Apache Airflow; участвовал в миграции ETL-инструментария с Informatica на Plus7Formit с сохранением стабильности всех потоков данных
- Пример оптимизации производительности: переработал критическое представление на Greenplum с 38 LEFT JOIN — пересмотрел ключи распределения таблиц-источников, заменил цепочку джойнов на CTE с промежуточной сериализацией в JSONB и CROSS JOIN. Результат: время выполнения сократилось с 3,5 часов до 20 минут (в 10 раз), выгрузка в ClickHouse перестала падать по таймауту
- Оптимизация витрин данных: разработал ~30 датасетов-представлений на Greenplum и ClickHouse; провёл частичную материализацию представлений для устранения таймаутов; обеспечиваю сервис данных для ~40 систем-потребителей
- Аналитическая отчётность: выполнил полный перенос дашбордов с Qlik Sense на PixBI — 4 приложения (40–50 листов) с ежедневным мониторингом KPI по 3 ландшафтам и почасовым обновлением статуса ETL; настройка realtime-дашборда на Grafana
- LLM-инструменты для работы с данными: участвовал в разработке системы Text-to-SQL на базе pgvector и локальных языковых моделей; реализовал семантический поиск с использованием эмбеддингов
- Инцидент-менеджмент: при добавлении новых нод в OKD-кластер оперативно настроил pod affinity, скоординировал открытие межсетевых экранов с инфраструктурой и архитектором — восстановил штатную работу Airflow без потери данных

Стек: Apache Airflow, Apache NiFi, Informatica/Plus7Formit, Greenplum, ClickHouse, PostgreSQL, Oracle, Hadoop, pgvector, PixBI, Grafana, OKD / RedHat, OpenShift, REST API, Python, SQL, Confluence, Jira