Size: a a a

2020 October 17

К

Кирилл in Scrapy
@DmitriyRU1 давай без аудио
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Спасибо!
источник

S

SoHard 🎄 in Scrapy
Юзай aiohttp
источник

S

SoHard 🎄 in Scrapy
Удачи
источник

Marat Мkhitаrуаn in Scrapy
Ты не можешь запускать синхронный код в эвентлупе. Он просто заблокирует его и асинхронности не будет.
источник

Marat Мkhitаrуаn in Scrapy
Поэтому нужно специальную асинхронную библиотеку. Вместо requests aiohttp.
источник

S

SoHard 🎄 in Scrapy
Забей
источник

S

SoHard 🎄 in Scrapy
Ты его не передаешь
источник

S

SoHard 🎄 in Scrapy
источник

Marat Мkhitаrуаn in Scrapy
Если не хочешь менять библиотеку то просто не будет асинхронности. Это не мы так решили :)  Можешь через threadpool это не асинхронность.
источник

S

SoHard 🎄 in Scrapy
proxy_base = get_base()
Помогите Даше найти аргумент
источник

К

Кирилл in Scrapy
Наверное увидел свой код, разочаровался и решил выпилиться
источник

S

SoHard 🎄 in Scrapy
Кирилл
Наверное увидел свой код, разочаровался и решил выпилиться
Асинхрон ради того чтобы потом мультипроцессинг сделать)
источник

Marat Мkhitаrуаn in Scrapy
Запускать 80 процессов для IO bound операций это гениально :)
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Кирилл
Наверное увидел свой код, разочаровался и решил выпилиться
У меня уже истерика)))
Я правильно из доки понял, что в сеттингс нужно добавить
install_reactor('twisted.internet.asyncioreactor.AsyncioSelectorReactor'), предварительно импортировав?
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
если я запускаюсь через >>scrapy crawl name
источник

К

Кирилл in Scrapy
𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄
У меня уже истерика)))
Я правильно из доки понял, что в сеттингс нужно добавить
install_reactor('twisted.internet.asyncioreactor.AsyncioSelectorReactor'), предварительно импортировав?
пропиши в settings.py » TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'
источник

Marat Мkhitаrуаn in Scrapy
Спроси на @ru_python_beginners там больше людей, может кто-то поможет
источник

К

Кирилл in Scrapy
лол
источник

𝕾

𝕾𝖔𝖚𝕷𝕭𝖆𝕯𝕲𝖚𝖄... in Scrapy
Кирилл
пропиши в settings.py » TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'
Спасибо, сейчас попробую!
источник