В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 December 20

К

Кирилл in Scrapy
F4
источник
20:46пожаловаться#1

К

Кирилл in Scrapy
то что белым, это процессы, зеленым — треды
источник
20:47пожаловаться#2

EV

Elena V in Scrapy
Шото ничего не поменялось😁
источник
20:47пожаловаться#3

К

Кирилл in Scrapy
F4 потом вбивай команду которой запускала, оно уберет все остальное
источник
20:48пожаловаться#4

К

Кирилл in Scrapy
ещё можешь посмотреть через /proc дирикторию
cat /proc/<process_id>/status
источник
20:50пожаловаться#5

К

Кирилл in Scrapy
Elena V
Ребята, если я запустила скрапер в несколько процессов, как вообще понять сколько там тредов/потоков?
http://pminkov.github.io/blog/examining-a-process-in-linux.html
источник
20:52пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Elena V
Твистед же треды пуляет?
нет.
источник
20:52пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
Elena V
Ребята, если я запустила скрапер в несколько процессов, как вообще понять сколько там тредов/потоков?
по одному на процесс
источник
20:53пожаловаться#8

EV

Elena V in Scrapy
Кирилл
то что белым, это процессы, зеленым — треды
Что-то много зеленого
источник
20:54пожаловаться#9

EV

Elena V in Scrapy
:)))
источник
20:54пожаловаться#10

К

Кирилл in Scrapy
Вообще там в некоторых местах есть треды, но можно скорее сказать, что scrapy их не использует
источник
20:57пожаловаться#11

К

Кирилл in Scrapy
и это бы было странно, если бы использовал, он же позиционирует себя как асинхрон
источник
20:58пожаловаться#12

АП

Агент Печенька in Scrapy
Elena V
Твистед же треды пуляет?
Нет.
источник
21:05пожаловаться#13

АП

Агент Печенька in Scrapy
Кирилл
Вообще там в некоторых местах есть треды, но можно скорее сказать, что scrapy их не использует
+
источник
21:05пожаловаться#14

EV

Elena V in Scrapy
Кирилл
и это бы было странно, если бы использовал, он же позиционирует себя как асинхрон
Я не нашла в доке о сути работы, что именно там асинхронное и где там потоки и как их померять.
источник
21:54пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
Elena V
Я не нашла в доке о сути работы, что именно там асинхронное и где там потоки и как их померять.
там нет потоков
источник
21:54пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
асинхронность там на твистетовском реакторе
источник
21:55пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
что именно хочется узнать?
источник
21:55пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
в доке разве что https://docs.scrapy.org/en/latest/topics/architecture.html#event-driven-networking
источник
21:56пожаловаться#19

EV

Elena V in Scrapy
Andrey Rahmatullin
что именно хочется узнать?
Детали как для тупых:) эта штука позиционирует себя как что-то асинхронное. Но в чем оно заключается? Как это понять?

Вот я запустила одного паучка. Сколько у него ножек там начало параллельно дергать сайт? Сколько ссылок он дёргает одновременно?
источник
21:57пожаловаться#20