P
можно еще картинки не скачивать сразу, а просто в базу сохранять путь и все такое
Size: a a a
2020 September 17
AS
Ставить паузу в 0.3 сек - это уже дополнительно 166 часов паузы на 2 млн картинок ))
P
и потом натравить отдельный крон раз в минуту
AS
Пути уже есть, теперь надо качать))
P
wget может качать по списку
AS
Пути предыдущий парсер на питоне написал уже ))
P
но тут еще проблема что картинки могут битыми быть
С
wget может качать по списку
wget -i text_file.txt
DM
но тут еще проблема что картинки могут битыми быть
пхп-ой проверить размеры и отсеять битые в отдельный список
AS
Сеошники какие-то эмуляции браузеров питонят, чтоб никто не догадался. Прогресс не стоит на месте )
DM
сеошники питонят? ))
P
пиздить их палкой
ЕА
Сеошники какие-то эмуляции браузеров питонят, чтоб никто не догадался. Прогресс не стоит на месте )
силениумом можно такие вещи делать))))
у меня даж неболшой парсер есть )
у меня даж неболшой парсер есть )
P
на 2 млн каждая секунда важна, какая уж тут эмуляция браузера ((:
P
да и риск большой что забанят типа ддос
AS
Так они напитонили инфы в csv-файлы, в том числе адреса картинок. Теперь надо всю эту беду в сайт превратить на эво )
DM
блять.... парсеры пишут а резалты в цсв кидают.....
P
ну вот напиши скрипт который запустит кучу вгетов по твоим файлам
AS
Нормально, у яндекса по 400 тыс товаров с отзывами сливают, он не в курсах, не банит )
P
откуда вообще в этом всем взялся крон