V
попробуй выполни
requests.Session()Не выполнило
requests.__file__ теперь выполниSize: a a a
2020 November 12
AR
V
requests.__file__ теперь выполниВ директирии репозитория
AR
В директирии репозитория
что это такое?
V
что это такое?
Там где проэкт стоит, файл создался
AR
Не создался, а ты создал
AR
Как я сразу и сказал, а ты развел тут
B
AR
И да, такие проблемы в питонбегиннерс
S
Как я сразу и сказал, а ты развел тут
и оказалось что я правильно отправил)
A
A
Можно вопрос? Создал я две нодЬІ с скрепид, загрузил на них один проект и циклом разделил список попалам. По идеи на каждую ноду пошло по 35 пауков. Но в Пендинг по каждой ноде общее число пауков
A
почему так?
i
всем доброго, пните, плз, в верном направлении.
Паук собираем данные в базу (MySQL), должен быть контроль уникальности (товар несколько раз присутствует в каталоге)
В холостую (без записи в базу) - ~4000 страниц в минуту
в боевом режиме - ~3000 страниц в минуту
так то 25% падение производительности....
что подскажите насчет ускорения? есть пара мыслей:
1. писать "сырые" данные в ту же монгу, потом преносить уже в базу с контролем уникальности
2. бросать данные на "прокладку", что то вроде Redis. т.е с одной сторны паук бросает данные и не ждет как они обработаются, а с другой стороны они потихоньку обрабатываются... Но тут я нубятина, почти полная. Не знаю, правильно я мыслю или полная ерись.
Так что, накидайте идеек :)
Паук собираем данные в базу (MySQL), должен быть контроль уникальности (товар несколько раз присутствует в каталоге)
В холостую (без записи в базу) - ~4000 страниц в минуту
в боевом режиме - ~3000 страниц в минуту
так то 25% падение производительности....
что подскажите насчет ускорения? есть пара мыслей:
1. писать "сырые" данные в ту же монгу, потом преносить уже в базу с контролем уникальности
2. бросать данные на "прокладку", что то вроде Redis. т.е с одной сторны паук бросает данные и не ждет как они обработаются, а с другой стороны они потихоньку обрабатываются... Но тут я нубятина, почти полная. Не знаю, правильно я мыслю или полная ерись.
Так что, накидайте идеек :)
может быть еще попробовать постгрес. он как-то лучше с питоном работает.
SS
https://apps.sfc.hk/edistributionWeb/api/news/content?refNo=19PR89&lang=EN
content = json.loads(response.text)
content['html']
Как скормить scrapy содержимое content['html'] чтобы можно было применять xpath/css?
content = json.loads(response.text)
content['html']
Как скормить scrapy содержимое content['html'] чтобы можно было применять xpath/css?
OS
Andrii
Можно вопрос? Создал я две нодЬІ с скрепид, загрузил на них один проект и циклом разделил список попалам. По идеи на каждую ноду пошло по 35 пауков. Но в Пендинг по каждой ноде общее число пауков
а покажи настройки, у тебя по ходу в работе максы 16 пауков
AR
https://apps.sfc.hk/edistributionWeb/api/news/content?refNo=19PR89&lang=EN
content = json.loads(response.text)
content['html']
Как скормить scrapy содержимое content['html'] чтобы можно было применять xpath/css?
content = json.loads(response.text)
content['html']
Как скормить scrapy содержимое content['html'] чтобы можно было применять xpath/css?
создать объект класса Selector
SS
создать объект класса Selector
спасибо