Data engineer DWH

Ищем инженера данных на DWH в индустрии. Не просто собираем и обрабатываем данные - команда является держателем бизнес-смыслов в сложной предметной области.

IT-компания из перечня Минцифры.

Особенности рабочих процессов:

• отслеживаем новые технологии и фреймворки, регулярно что-то забираем для внедрения
• команда разумных размеров - есть возможность принять участие во всех процессах, не сидеть на узкоспециализированном участке
• допустимо разумное выделение ресурсов на рефакторинг, улучшение процессов

Стек:

• реляционные БД; ядро DWH Vertica, ClickHouse, десятки разнообразных источников данных
• ETL Airflow в связке dbt для витрин
• много кастомной автоматизации на Python
• DataCatalog рукописный + OpenMetadata
• деплой docker, jenkins, gitlab/git/SVN

Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем могут смещаться в сторону точки интересов или в сторону крупных командных проектов):

• 30% доработки ETL, отражающие изменения в системах-источниках и улучшающих аналитическое хранилище
• 25% доработки утилит ETL, автоматизация процессов
• 20% поддержка текущих регулярных процессов
• 15% участие в смежных проектах
• 10% внедрение новых технологий

Особенности технологических процессов:

• базовый процесс загрузки работает достаточно редко, несколько раз в сутки по появлении инкремента
• по сути ELT с не всегда тривиальными трансформациями, специфическая предметная область
• локально погружаемся в предметную область при помощи аналитиков систем-источников
• тесное взаимодействие с субкомандами аналитиков данных, специалистами по оптимизации и моделированию
• выстроенные процессы передачи знаний в команде (актуальная база знаний и документация, регулярное ревью кода)
• иногда удаётся выделять ресурс на рефакторинг важных беспокоящих блоков

Пожелания к кандидату:

Обязательно:

• Python ядро + библиотеки для работы с данными;
• SQL на хорошем уровне (сложные запросы, оптимизация, оконные вычисления);
• знакомство с системами на linux
• наличие личного интереса в развитии рабочего стека

Желательно:

• опыт с Airflow или другим ПО для оркестрации
• СУБД Vertica, ClickHouse
• docker, git
• навыки проектирования хранилища данных
• примеры кода, ссылки на личный репозиторий

Организационное:

• Оформление по ТК, зарплата белая, есть ДМС.
• Работаем удаленно, изредка есть необходимость появляться в офисе в Москве.
• С наймом стараемся не затягивать. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников.
• Организация в перечне IT-компаний Минцифры, есть ветка с бронированием.