AR
а вот тут уже нужно определиться с терминологией
Size: a a a
2019 December 20
AR
одновременно в твоём представлении это как?
AR
поток там один, но запросов параллельно - вплоть до CONCURRENT_REQUESTS
AR
паук отдаёт операционке хттп-запрос и переключается на другие свои дела, когда придёт ответ от сервера - операционка сообщит пауку
AR
Один процесс - один поток. Как понять сколько запросов идёт параллельно?
никак
AR
ну можно в очередь посмотреть и логирования добавить, наверно
AR
но вообще это ж неважно
EV
но вообще это ж неважно
Да. Любопытно стало
AR
поток там один, но запросов параллельно - вплоть до CONCURRENT_REQUESTS
ну вот официальный ответ
AR
сколько именно в каждый момент времени висит в очереди - не логируется
AR
если как показатель производительности, то rpm важнее
AR
мощность неважна
AR
мощность как-то влияет на скорость парсинга, но это такие копейки по сравнению с ожиданием сервера
AR
ну и вообще если очень много запросов откуда-то взять, то и скорость ответа сайта неважна, всегда в очереди будет CONCURRENT_REQUESTS запросов
К
паук отдаёт операционке хттп-запрос и переключается на другие свои дела, когда придёт ответ от сервера - операционка сообщит пауку
Операционке?)
AR
мощность как-то влияет на скорость парсинга, но это такие копейки по сравнению с ожиданием сервера
(если там нет ML, pdfminer и прочего сложного, а просто response.xpath)