Python back-end developer: парсеры, web crawling, аналитика

На данный момент Python back-end developer, BigData Engineer.

Мои компетенции и опыт

Более 15 лет в: разработке интернет-проектов, аналитике, исследованиях, парсинге, e-commerce. M-shaped.

Ключевое и самое любимое: broad crawl роботы, парсинг, обход всего интернета. DOM-анализаторы, NLP, извлечение структурированных данных. Прототипы проектов. Поиск не стандартных решений.

1) май нужен доступ к резюме май 2026 гг. Wildberries, back-end developer. Разработчик и data-аналитик в отделе инфраструктурной разработки (учетные системы для сотрудников и поддержки внутренних процессов). Задачи: синтетический мониторинг, проектирование и поддержка минималистичной ETL-ки отдела (сбор данных из баз проектов, pipeline'ы данных, БД под отчеты в интерфейсах, БД под отчеты в BI-системах), ведение всей активности касающейся data-аналитики проектов отдела. Участие в разработке встраиваемого в проекты модуля для визуализации данных: бек-енд, несколько микросервисов (API дашбордов, API данных). Бизнес-анализ задач внутренних заказчиков из других отделов, проектирование и разработка дашбордов (Redash; внутренная BI-система - аналог Superset/Metabase/DataLens). Закрывал весь блок задач по data-аналитике отдела в роли архитектора, разработчика, аналитика и data-аналитика.

Стек: python (FastAPI), go, Clickhouse, Postgres, Kubernetes, Docker, GitLab CI/CD

2) январь нужен доступ к резюме январь 2025 гг. AMD Telecom (Греция), BigData Engineer. Ключевой разработчик веб-робота для обхода всего интернета (случайного набора сайтов; доменных зон целиком; миллионы сайтов, безостановочная архитектура робота). Разработка алгоритмов извлечения структурированных данных из неструктурированных. Интеграция с прокси. Микросервисная архитектура проекта. Для сайтов с JS и динамическим содержимым: playwright + своя API для взаимодействия с ним.

Стек: Python (FastAPI, Scrapy, доработанная Frontera, Playwright), ClickHouse, MariaDB (mysql), Tarantool, Kafka, Hadoop, Cassandra, Docker, GitLab

3) октябрь нужен доступ к резюме октябрь 2022 гг. нужен доступ к резюме (Россия) - партнер в проекте "мониторинг цен", руководитель проекта, ключевой разработчик. Построил in-house систему для мониторинга цен. Роли: разработчик, продакт, проектирование бизнеса, выстраивание процессов (вместе с продажами и смежным продуктом). Десятки разработанных парсеров, обход защит, парсинг защищенных сайтов. Авто-генератор парсеров.

Стек: Python (FastAPI, Scrapy, Playwright, Scrapyd, Scrapydweb), ClickHouse, MariaDB

Также: На C# приложение для "разметки" под авто-генерацию парсеров, CEFSharp.

3) октябрь нужен доступ к резюме октябрь 2021 гг. нужен доступ к резюме - ceo&founder. Написал dom-анализатор для извлечения цен примерно с 80% всех интернет-магазинов. Роли: построение бизнеса, тестирование продаж, разработка, проектирование продуктов на основе технологии.

Стек: python (FastAPI, Scrapy, Frontera), Hbase, Kafka, ClickHouse, MariaDB (mysql)

Ранее: аналитик-разработчик в Data Insight (парсеры, сбор данных под исследования рынков, программирование опросов, разработка внутренних инструментов для задач аналитиков и исследователей), директор по развитию Prokoni-Shop, владелец в нужен доступ к резюме , мнеджер проектов РСЯ в Яндекс, руководитель отдела аналитики WeClever. Подробнее о прошлом опыте: нужен доступ к резюме