Data Engineer

Чем предстоит заниматься:

• Разработка и поддержка ETL-процессов: создание и доработка загрузок данных из API, файлов, внутренних баз данных и других источников, поддержка регулярного обновления данных.
• Работа с Airflow: разработка и сопровождение DAG, настройка расписаний, зависимостей, повторных запусков, обработка ошибок, разбор падений и задержек в загрузках.
• Работа с хранилищами и витринами: разработка таблиц и витрин в ClickHouse/PostgreSQL, написание SQL-запросов, оптимизация запросов, подготовка данных для отчетности, аналитики, внутренних сервисов и задач разработки.
• Контроль качества данных: проверка полноты, актуальности, дублей, пропусков и расхождений, улучшение существующих загрузок с точки зрения стабильности, прозрачности и надежности данных.
• Поддержка инфраструктуры направления данных: работа с серверной средой, Airflow, базами данных, логами, техническими ошибками и вспомогательными процессами, необходимыми для стабильной работы данных.
• Работа с внутренними инструментами: участие в тестировании и сравнении внутренних инструментов/субагентов для разработки, исправления и стандартизации DAG.
• Документирование загрузок и витрин: описание источников, логики обработки, расписаний, проверок качества данных, зависимостей и возможных ошибок.

Нам важно:

• Опыт работы в data engineering, DWH, ETL-разработке, аналитической разработке или смежной роли от 1,5–2 лет.
• Уверенное знание SQL.
• Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД.
• Опыт или уверенное понимание Apache Airflow: DAG, расписания, зависимости, retries, логи, обработка ошибок.
• Python для задач обработки данных, автоматизации, работы с API и файлами.
• Понимание принципов ETL: извлечение, трансформация, загрузка, обновление данных.
• Опыт загрузки данных из API, файлов или баз данных.
• Понимание принципов построения витрин данных.
• Базовые навыки Linux: командная строка, файлы, директории, процессы, логи.
• Git на базовом уровне.
• Готовность разбираться в существующем коде, чужих DAG и неидеальной документации.

Мы предлагам:

• Оформление по ТК РФ (полностью белая заработная плата, стабильный и прозрачный доход, оплачиваемые отпуск и больничные);
• График работы - гибридный, 5/2 с 9:00 до 18:00, (сокращённая пятница);
• Современный уютный офис с комфортными зонами отдыха (7 минут пешком от м. Алексеевская);
• Свобода выполнения задач — ты сам определяешь, как достигать целей, выбираешь подходы и методы. Нет жестких рамок — только результат!
• Свои сервера и инфраструктура — наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре офиса. Это позволяет быстро решать любые вопросы с системой долгого ожидания, обеспечивая максимальную оперативность и независимость.
• Высокий уровень самостоятельности — у тебя есть возможность самостоятельно планировать и реализовывать свои задачи, не теряя оперативности и гибкости.
• Много направлений для экспериментов — работа с большими данными, искусственный интеллект, автоматизация — выбирай то, что интересно именно тебе.
• Активное использование искусственного интеллекта — мы внедряем современные технологии, и у тебя есть уникальная возможность быть в авангарде этих изменений.
• Гибкость в выборе направления деятельности — хочешь перейти на другую роль или направление? При желании ты можешь изменить свою специализацию и развиваться в интересных тебе сферах.