AR
лол, автор видимо думает что timeout это задержка между запросами? а это не она
Size: a a a
2020 January 15
AR
timeout (int) – Time, in seconds, to wait for the geocoding service to respond before raising a geopy.exc.GeocoderTimedOut exception.
S
нужно пропарсить много url из списка потоками, страницы имеют одинаковую структуру. где почитать в доках про это, как это называется?
AR
я не понял
AR
если структура одинаковая, то парсить их всех одним кодом, не?
AR
где затруднение?
S
где затруднение?
в скорости парсинга, нужно запустить как можно большее кол-во потоков
AR
сайт-то один?
S
сайт-то один?
нет
AR
ну это не совсем про то, но
AR
ну и плюс по джобу на ядро запустить, но всё равно поди в канал упрётся
B
https://github.com/scrapy/scrapy/pull/4259/files
@wrar42
получается asyncio заменит какую-то часть и твистед будет для работы с сетью(не знаю как точнее сказать)?
@wrar42
получается asyncio заменит какую-то часть и твистед будет для работы с сетью(не знаю как точнее сказать)?
AR
и если урлов совсем много, надо думать как их батчить или хотя бы помнить, что уже попарсили, если джоб упадёт
AR
https://github.com/scrapy/scrapy/pull/4259/files
@wrar42
получается asyncio заменит какую-то часть и твистед будет для работы с сетью(не знаю как точнее сказать)?
@wrar42
получается asyncio заменит какую-то часть и твистед будет для работы с сетью(не знаю как точнее сказать)?
нет, не заменит, всё что делается - только чтобы юзер мог юзать в юзерском коде либы типа aio*
S
ну и плюс по джобу на ядро запустить, но всё равно поди в канал упрётся
это как?
AR
Sergey
это как?
ну несколько спайдеров
AR
процессов
S
а в чем преймущество?