Перейти к содержимому

Парсинг и обработка данных

Сбор данных с внешних площадок, нормализация и выгрузка в учётную систему по расписанию.

Компания вручную переносила прайсы и остатки поставщиков в свою систему: несколько человек копировали данные из личных кабинетов и таблиц. Ошибки в ценах всплывали уже после отгрузки.

Что было сделано

  • сбор данных с площадок: часть по API, часть — обходом страниц в headless-браузере;
  • нормализация разнородных прайсов к единой схеме: единицы измерения, валюты, категории;
  • сопоставление позиций поставщика с внутренней номенклатурой по артикулу и названию;
  • выгрузка в учётную систему по расписанию с журналом изменений.

Устойчивость

Каждый источник изолирован: падение одного не останавливает остальные. Ошибки разбора складываются в очередь на повтор, а расхождения цен выше заданного порога уходят на ручную проверку вместо автоматической записи.

Результат

Ручной перенос прайсов исчез из процесса. Данные обновляются ночью, к утру в системе актуальные цены и остатки.