КБ
ребят, а есть учебник по всем инструментам scrapinghub ?
Size: a a a
2020 February 11
AR
это по каким?
КБ
ну какуюнибудь крутую и понятную, типо как спарсить о чистить весь интернет
AR
вряд ли
МС
@wrar42 пинг
AR
МС
к тебе вопрос как наибольшему (наверное) гуру скрапи :), ща опишу
МС
ImagePipeline
я правильно понимаю
1. отправляем 100500 ссылок качать картинки
2. оно именно по ссылке определяем куда отдавать ответ....
я правильно понимаю
1. отправляем 100500 ссылок качать картинки
2. оно именно по ссылке определяем куда отдавать ответ....
МС
так?
МС
ибо у меня нет других объяснений моему вчерашнему вопросу, который я 7 февраля задавал
МС
суть, примерно, такая
примерно 3 000 товаров
на них все, примерно, 900 картинок
каринки именуются по артикулу (имя файла = артикул+уникальный номер)
так эта зараза, даже если сказать dont_filter = true , все равно создает только 900 файлов и в одном айтеме название файлов перемешанные...
примерно 3 000 товаров
на них все, примерно, 900 картинок
каринки именуются по артикулу (имя файла = артикул+уникальный номер)
так эта зараза, даже если сказать dont_filter = true , все равно создает только 900 файлов и в одном айтеме название файлов перемешанные...
AR
ничего про ImagePipeline не знаю
AR
что такое отдавать ответ?
МС
результат, который попадает в "item_completed"
ну, если не знаешь, то Ок, надо покопаться в скрапи :). У меня такая ситуация первый раз, хоть в дурку поезжай, почему оно перемешивает имена....
ну, если не знаешь, то Ок, надо покопаться в скрапи :). У меня такая ситуация первый раз, хоть в дурку поезжай, почему оно перемешивает имена....
AR
в item_completed результат реквеста попадает
AR
привязан через коллбэки твистеда
МС
не, я про то...
МС
# Return cached result if request was already seen
if fp in info.downloaded:
return defer_result(info.downloaded[fp]).addCallbacks(cb, eb)
МС
я кажись нашел почему такое твориться....
оно тупо, если файл качался, его второй раз не качает и отдает то, что раньше скачало :)
оно тупо, если файл качался, его второй раз не качает и отдает то, что раньше скачало :)
МС
и никакие "dont_filter=true" не спасут...