Data engineer, data analyst

На данный момент Data engineer.

Мои компетенции и опыт

Data Engineer

Январь 2025 — сейчас

- Проектирование и внедрение end-to-end data-пайплайнов: интеграция данных из разнородных источников — Bitrix24, AmoCRM, Calltouch, Roistat, Marquiz, AppsFlyer и других систем — и загрузка их в Google BigQuery как единое аналитическое хранилище.
- Реализация сквозной аналитики (атрибуции, воронки, LTV, ROI) и визуализация метрики в Looker Studio, Power BI и Yandex DataLens; при необходимости реплицирование данных в облачный ClickHouse для высоконагруженных сценариев анализа.
- Автоматизация процессов сбора и обновления данных с помощью Google Cloud Run (на Python), Cloud Scheduler и Apache Airflow, обеспечивая надёжность, масштабируемость и минимальное вмешательство вручную.
- Разработка кастомных отчётов в Google Sheets с использованием Apps Script, дополняя их простыми HTML-интерфейсами для удобства нетехнических пользователей.
- Активное использование SQL для трансформации данных и Python для логики интеграций, обработки API-ответов, обработки ошибок и управления workflow.

Data Engineer

Август 2024 — Январь 2025

- Активное участие в Agile-процессах (Scrum) через Jira для отслеживания задач и ведения проектной документации в Confluence.
- Актуализация проектной документации в Confluence.
- Написание сложных SQL-запросов для обработки и анализа данных.
- Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow для автоматизации потоков данных.
- Работа с различными источниками данных, включая реляционные базы данных и Hadoop HDFS.
- Работа в Hadoop экосистеме: использование Hadoop, Hive, Hue для обработки и анализа больших объемов данных.
- Написание и оптимизация Spark-задач для обработки данных в реальном времени и пакетной обработки с использованием Python в Jupyter Notebooks.
- Построение производных таблиц и витрин в GreenPlum.
- Стриминговая обработка данных с Kafka: Разработка и поддержка систем обработки потоковых данных с использованием Apache Kafka.
- Обеспечение качества данных: реализация механизмов валидации и верификации данных для обеспечения высокого качества и надежности данных.

Аналитик данных

Июль 2023 — Август 2024

- Разработка процесса сбора данных из различных источников (Google Analytics, Яндекс метрика) с использованием Apache Airflow.
- Проектирование и внедрение витрины данных на основе хранилища данных Snowflake для консолидации всех маркетинговых метрик.
- Разработка аналитических дашбордов в Power BI для визуализации ключевых показателей эффективности кампаний.

Fullstack-разработчик

Декабрь 2021 — Июнь 2023

Проектирование и разработка веб-приложений с использованием Python(Django), HTML, CSS, Bootstrap.