Size: a a a

2019 December 20

AR

Andrey Rahmatullin in Scrapy
Кирилл
Операционке?)
ну через twisted.web, но в конечном-то итоге
источник

AR

Andrey Rahmatullin in Scrapy
это асинхронный и/о на пальцах
источник

AR

Andrey Rahmatullin in Scrapy
могу про еполл рассказать...
источник

К

Кирилл in Scrapy
Andrey Rahmatullin
могу про еполл рассказать...
Давай) хз что это
источник

EV

Elena V in Scrapy
источник

EV

Elena V in Scrapy
Вечер обещает быть интересным😁
источник

AR

Andrey Rahmatullin in Scrapy
ну твистед - евент-дривен, внутри у него реактор, дефолтная реализация реактора на линуксе - EPollReactor (https://twistedmatrix.com/documents/current/core/howto/choosing-reactor.html)
источник

AR

Andrey Rahmatullin in Scrapy
когда надо ждать результата и/о от ОС - они получаются через epoll
источник

AR

Andrey Rahmatullin in Scrapy
если какой-то результат пришёл - достанется нужный деферред и дёрнется его коллбэк
источник

AR

Andrey Rahmatullin in Scrapy
когда твистеду делать нечего, например какой-то коллбэк отработался, он проверяет, не пришло ли чего
источник

К

Кирилл in Scrapy
Всегда боялся в твистер лезть, есть хоть какие-то шансы что будет переход на asyncio?
источник

AR

Andrey Rahmatullin in Scrapy
твистед из-под скрапи не выдернуть
источник

AR

Andrey Rahmatullin in Scrapy
asyncio в юзерском коде будет
источник

AR

Andrey Rahmatullin in Scrapy
будет заворачиваться в дефереды внутри
источник

К

Кирилл in Scrapy
На костыли похоже
источник

AR

Andrey Rahmatullin in Scrapy
а что хочется-то?
источник

AR

Andrey Rahmatullin in Scrapy
более лучше читать и писать код скрапи, чтобы внутри не было дефередов, а были фьючуры?
источник

К

Кирилл in Scrapy
Andrey Rahmatullin
твистед из-под скрапи не выдернуть
Почему? Я встречал проекты которые пытались реализовать аналог скрапи на asyncio, и он хорош был, если бы не было огромного разрыва в комьюнити и готовых решений для скрапи, я бы уже перешел
источник

AR

Andrey Rahmatullin in Scrapy
эм, как почему
источник

AR

Andrey Rahmatullin in Scrapy
потому что надо разом переписать всё ядро
источник