P
много времени уходит на скачивание страниц и картинок
Size: a a a
2021 June 24
P
я тоже дидомом парсю 🙃
AG
а почему на питоне быстрее?
P
потому что там потоки всякие
AG
ааааа
AG
а как спарсить весь каталог если оно все по дохера страницам раскидано?
P
ну вот так и спарсить
P
каждую страницу
AS
Ну на питонах мне яндекс.маркет парсят с отзывами. Для простых сайтов хватит и пхп
AG
ипать
AS
Парсишь сначала список, с него товары постранично, а как ты хотел?))
P
порой спасает сеошная придурь типа кнопки "показать все"
AG
а может sitemap открыть и от него уже как то отталкиваться
AS
Часто карта сайта есть, оттуда - но там часто проблемы с вложенностью
P
а как ты в сайтмапе определишь, где товар, где не товар
AS
Хотя по иерархическим урлам можно потом раскидать
P
да и в большом каталоге может не быть товаров в сайтмапе
AG
вот да
AS
Не ну бывают же там всякие выгрузки в yml или на локальные плейсмаркеты типа "куфар"
P
ну тогда и парсить не нужно