Телеграмм чат группы scrapy

я это на самом деле для хмарного теста сайтмапа делала 😄

20:46пожаловаться #1

типа облачный сервис?

20:46пожаловаться #2

ну ты загнул :) просто параллельно с обычными автотестами иногда будет запускаться ересь, которая будет рандомно проверять че там в сайтапе нагенерили

20:57пожаловаться #3

Все скромно😁

20:57пожаловаться #4

ну ты же сама написала что хмарный)

20:58пожаловаться #5

Это выражение в тестировании. Дымовое. Smoke. Поверхностное

21:55пожаловаться #6

Извиняюсь, если запутала😁

21:55пожаловаться #7

ᅠ

ᅠ in Scrapy

Почему спайдер в котором time.sleep(), не работает? Я понимаю что асинхронность и т.п., но обьясните как там всё происходит при этом?

22:46пожаловаться #8

АП

Агент Печенька in Scrapy

А почему должен работать?

ты всё-таки не понимаешь что такое асинхронность

23:06пожаловаться #10

это не мультипроцесс, если ты вызываешь стандартный слип то луп который обеспечивает асинхронность, тоже засыпает

23:07пожаловаться #11

у твистеда чтоб сделать неплокирующий слип нужно что-то вроде

def sleep(secs):
  d = Deferred()
  reactor.callLater(secs, d.callback, None)
  return d

23:09пожаловаться #12

так же как и у asyncio нужно вызывать asyncio.sleep() а не простой sleep

23:10пожаловаться #13

2019 December 18

Устатм

03:19пожаловаться #14

Через 2 недкли поддержуа 2 питона закоечится. Твистед умрет. Что будет со скрепи?

03:19пожаловаться #15

Парни, в чем особенность промышленного парсинга? Чем он отличается от не промышленного?

03:21пожаловаться #16

Что за страшное слово - промышленный?

03:21пожаловаться #17

Roma in Scrapy

По мне так - промышленный парсинг - это пул серверов - ну и все это барахло может функционировать 24 часа на серверах, а не на локальном компе

03:25пожаловаться #18

Roma in Scrapy

И главное - масштабированность

03:26пожаловаться #19

BOT FACTORY in Scrapy

Скажите пожалуйста а вот например при наличии 1000 проксей человек не может собрать 20 млн товаров. Это скарапи кривое или руки? По моему любой школьник бы собрал за 3 дня