Телеграмм чат группы scrapy

ну я думаю для более глубокого понимания эта либа не помешает

13:19пожаловаться #1

Кирилл in Scrapy

Мне сложно представить ситуации когда requests может использоваться в скрапинге, он медленный. requests берут для легкой зависимости, для запросов. Я сам использовал requests только один раз, когда раз в день нужно было достать 1 строку с одного сайта

13:28пожаловаться #2

так у него же применение такое же как и у urllib, разве нет?

13:32пожаловаться #3

и есть ещё 2-я версия этой либы, они сильно отличаются?

Стоит изучить что такое уровни абстракции

Опять же

13:33пожаловаться #5

ФСБ

и есть ещё 2-я версия этой либы, они сильно отличаются?

Которой? :)

13:36пожаловаться #6

Тогда уж и урллиб3

13:37пожаловаться #7

ужс какой

13:37пожаловаться #8

и какую из них учить?

13:37пожаловаться #9

у меня книга по самой первой

13:37пожаловаться #10

просто urllib

13:37пожаловаться #11

вот и спрашиваю, мало ли она уже устарела

13:37пожаловаться #12

Alexander B in Scrapy

Книга по урлиб?) а что их учить то? Пара примеров на SO и дело в шляпе)

13:39пожаловаться #13

Кирилл in Scrapy

Лучше не читать книги по модулям ) в 90% случаев они устаревшие

13:40пожаловаться #14

ФСБ

просто urllib

А питон там какой?

13:40пожаловаться #15

Ну и чесгря учить надо хттп, а уж каким кодом отправить нужный запрос это уже вопрос не такой важный

13:41пожаловаться #16

Andrey Rahmatullin

А питон там какой?

13:41пожаловаться #17

Надо чотко знать что ты хочешь чтобы пришло на сервер

13:42пожаловаться #18

ФСБ

Тогда не первая

13:42пожаловаться #19

Elena V in Scrapy

Есть сайтмап, состоящий из других сайтмапов.
У меня есть спайдер, который бегает по всем этим вложенным сайтмапам и дергает ссылки все.

он наследуется от SitemapSpider. все работает. все ок.

тут вопрос. а если мне из вложенного сайтмапа каждого нужно брать не ВСЕ, а парочку рандомных? как лучше сделать?