Data Engineer / Инженер Данных

На данный момент Data Engineer / Инженер Данных.

Мои компетенции и опыт

Стек технологий: Hadoop, Airflow, Spark, ClickHouse.

- Разрабатывал и поддерживал ETL-пайплайны в Apache Airflow для ежедневной обработки данных. Пайплайны оркестрировали запуск Spark-джобов для преобразования сырых данных и их последующей загрузки в ClickHouse.

- Провел полномасштабную миграцию данных с Greenplum на ClickHouse объемом свыше 200 млн строк: разрабатывал стратегию переноса с обеспечением консистентности и минимальным временем простоя.- Оптимизировал производительность ClickHouse после миграции: выбрал движки таблиц, схемы партиционирования и порядок ключей, что привело к ускорению выполнения типовых аналитических запросов в 2-3 раза по сравнению с Greenplum.

- Модернизировал существующие Spark-джобы под новую целевую БД (ClickHouse): адаптировал логику преобразования данных, оптимизировал параллелизм и режимы вставки, что снизило нагрузку на кластер и сократило время выполнения ETL-цикла на 25%.

- Рефакторил сложные SQL-запросы для ClickHouse с учетом его специфики: устранил «горячие» точки в данных, использовал преимущества локальности и эффективные агрегации, что повысило стабильность и скорость отчетов.

- Настроил и адаптировал DAG'и в Apache Airflow для работы с ClickHouse: реализовал кастомные операторы для эффективной загрузки данных, добавил логирование и мониторинг качества данных на этапах пайплайна.

- Проанализировал и переработал схемы хранения данных в ClickHouse для более Резюме обновлено 18 сентября 2025 в 12:03 эффективного сжатия и выполнения запросов, что позволило сократить объем хранимых данных на 40% без потери информации.

- Составлял и актуализировал техническую документацию по мигрированным пайплайнам, особенностям работы с ClickHouse и руководства по устранению инцидентов, что упростило сопровождение системы для команды.