Телеграмм чат группы scrapy

зависит.

11:58пожаловаться #1

скрапи использует pyOpenSSL

11:58пожаловаться #2

что использует pyOpenSSL, который использует конкретная инсталляция скрапи - зависит

11:58пожаловаться #3

нет, это обёртка над openssl

11:59пожаловаться #4

а что такое twisted?

11:59пожаловаться #5

https://twistedmatrix.com/

Twistedmatrix

Twisted

An event-driven networking engine written in Python and MIT licensed.

11:59пожаловаться #6

https://twistedmatrix.com/

Andrey Rahmatullin

Twistedmatrix

Twisted

An event-driven networking engine written in Python and MIT licensed.

спасибо, но можно в 2 словах для чего он используется со скрапи? У меня иногда ошибки пролетают

12:00пожаловаться #7

для всего

12:00пожаловаться #8

(даже в два уложился)

12:01пожаловаться #9

ладно, спасибо

12:02пожаловаться #10

i in Scrapy

если с твистедом ошибки пролетают, погляди в сторону https://docs.scrapy.org/en/latest/topics/broad-crawls.html

12:10пожаловаться #11

i in Scrapy

в частности там на REACTOR_THREADPOOL_MAXSIZE, может поможет

12:10пожаловаться #12

вангование 6 уровня

12:10пожаловаться #13

Bulatbulat48 in Scrapy

Oleg Shleiko

спасибо, но можно в 2 словах для чего он используется со скрапи? У меня иногда ошибки пролетают

Скрапи на основе Твистеда

12:10пожаловаться #14

Спасибо

12:19пожаловаться #15

Andrii in Scrapy

Да, но после 5к запросов каптча

17:37пожаловаться #16

Andrii in Scrapy

Каптча или клауд?)

17:38пожаловаться #17

Stepan Smirnov in Scrapy

я правильно понимаю, что парсинг использует то же железо что и ML (кроме GPU)?

20:14пожаловаться #18

чочо

20:15пожаловаться #19

Stepan Smirnov in Scrapy

да, наверное