// parsers-etl

Разработка парсеров и ETL: сбор данных, который не стыдно отдавать в отчёты

Парсинг сайтов и прайсов (XLSX, XML, YML, CSV), нормализация, дедупликация и загрузка в БД или файлы. Динамические SPA — через headless-браузеры; при необходимости — ротация прокси. С расписанием, ретраями и логами — чтобы пайплайн жил месяцами, а не «сломался после правки вёрстки». Предпочитаю официальные API, где они есть; парсинг — когда другого стабильного канала нет.

Какие задачи закрывают парсеры и ETL

Конкретные сценарии с архитектурными деталями — не общий список «делаем всё».

01

Сбор с сайтов и прайсов

Коннекторы к витринам и прайсам поставщиков: XLSX, XML, YML, CSV; динамические SPA через Playwright/headless; ротация прокси и лимиты запросов; сырые снимки для разбора сбоев и сверки.

02

Нормализация и дедуп

Единые ключи уникальности, приведение форматов цен/остатков, правила слияния дублей перед загрузкой в БД.

03

Очереди и ретраи

RabbitMQ/Beanstalk + воркеры: повтор при таймауте источника, алерт при серии ошибок, статус каждого прогона.

04

Расписание и выгрузки

Cron/планировщик, загрузка в PostgreSQL или CSV/Excel/API потребителя — с контрольными выборками на приёмке.

Кому подходит

Если узнаёте себя в одном из пунктов — имеет смысл коротко созвониться и уточнить scope.

01

Цены и остатки собираются вручную или полуручными скриптами.

02

Нужна регулярная синхронизация справочников и внешних витрин / мониторинг цен конкурентов.

03

Данные «грязные»: дубли, разные форматы прайсов (XLSX, XML, YML, CSV), пропуски.

04

Важны уведомления об ошибках и повторы при сбоях источника.

Что получите

Конкретные результаты работы — не список технологий.

  • ✓ Рабочий пайплайн сбора и загрузки по расписанию.
  • ✓ Правила нормализации и дедупликации.
  • ✓ Логи, ретраи и понятный статус прогонов.
  • ✓ Выгрузка в БД, CSV/Excel или API потребителя.

Этапы разработки парсеров и ETL

Прозрачные этапы — от разбора задачи до запуска и сопровождения.

01

Источники и форматы

Что парсим, как часто, какие поля критичны.

02

Схема данных

Нормализация, ключи уникальности, хранение сырых снимков.

03

Пайплайн

Очереди, воркеры, ретраи, алерты.

04

Приёмка

Контрольные выборки и сверки объёмов.

05

Сопровождение

Адаптация к изменениям вёрстки/API источника.

Что входит в работу

Состав уточняем под задачу. Ниже — типичный каркас, чтобы было понятно, за что платите.

  • Парсеры и коннекторы к источникам (сайты, SPA, прайсы)
  • Разбор XLSX / XML / YML / CSV
  • Нормализация и дедупликация
  • Планировщик / очереди / ретраи
  • Загрузка в БД или файлы
  • Логирование и уведомления об ошибках
  • Краткая инструкция по запуску

Технологический стек парсеров на Python

Стек подбираем под задачу; ниже — типичный набор для этого направления.

Python Playwright httpx aiohttp BeautifulSoup lxml Pandas Django RabbitMQ Beanstalk PostgreSQL Cron

// case

Кейс: ETL-пайплайн с очередями и контролем прогонов

Регулярная агрегация и нормализация внешних каталогов в PostgreSQL

Пайплайн под несколько поставщиков и витрин (порядка десятка источников): ночные и дневные прогоны, сотни тысяч–миллионы позиций в сутки в пике сезона. Нормализация цен и остатков, дедупликация, запись в PostgreSQL; очереди, ретраи и статус каждого прогона. Сопровождение — адаптация к смене вёрстки и форматов прайсов.

Python Playwright Pandas RabbitMQ PostgreSQL Cron

Частые вопросы о разработке парсеров и ETL

Какие сроки на парсер или ETL? +
Простой источник — дни; несколько витрин с нормализацией и алертами — недели. Оценка после списка источников и нужной свежести данных.
Как формируется цена? +
По числу источников, сложности антибота/прокси/JS-рендеринга, правилам нормализации и требованиям к мониторингу. Смета по этапам до старта.
Передаются ли скрипты и права? +
Да: код пайплайна, схема загрузки и инструкция по запуску — у вас в репозитории по договору.
Нужна ли поддержка, если источник изменит вёрстку? +
Да, это нормальная часть сопровождения: мониторинг прогонов и быстрый контур правок парсера при изменении источника.
Парсите ли динамические SPA и прайсы в XLSX / XML / YML / CSV? +
Да. SPA и JS-рендеринг — через Playwright/headless; при блокировках — ротация прокси и аккуратные лимиты. Прайсы поставщиков разбираю в XLSX, XML, YML и CSV с нормализацией под вашу схему в БД.