Телеграмм чат группы scrapy

16:13пожаловаться #1

B

S

такой вопрос : есть ли аналогget().strip() но только для getall() ?

MapCompose

16:13пожаловаться #2

МС

ну, 229 вольт - тестить надо

16:13пожаловаться #3

МС

MapCompose

не пугай человека лоадерами :)

16:13пожаловаться #4

B

Михаил Синегубов

не пугай человека лоадерами :)

это процессор 🙂

16:14пожаловаться #5

МС

это процессор 🙂

тогда "ой все", я его отдельно не использовал никогда :))

16:14пожаловаться #6

B

https://docs.scrapy.org/en/latest/topics/loaders.html#declaring-item-loaders
вот как раз со стрипом

16:14пожаловаться #7

S

S in Scrapy

https://docs.scrapy.org/en/latest/topics/loaders.html#declaring-item-loaders
вот как раз со стрипом

спасибо за совет 👍👍👍

16:16пожаловаться #8

B

Михаил Синегубов

тогда "ой все", я его отдельно не использовал никогда :))

proc = MapCompose(str.strip)
proc(['hello   ', 'world  '])
['hello', 'world']

16:20пожаловаться #9

AL

Alexey Lemeshevski in Scrapy

i

а зачем стока данных? если нужны сами данные, то такая задача уже сделана: https://commoncrawl.org/the-data/get-started/

Ого) прикольный датасет)) вебархив еще один, по сути) спасибо за ссылку!)

П.с. я цены с интернет-магазинов собираю... они всегда свежие нужны)

16:20пожаловаться #10

i

i in Scrapy

proc = MapCompose(str.strip)
proc(['hello   ', 'world  '])
['hello', 'world']

а как лучше обходить вещи типа proc(['hello ', 'world ', None]) ? get() может None возвращать. В компрехеншене я бы написал [x.strip() if x else '' for x in ololo]. А тут получается надо ValueError ловить?

17:38пожаловаться #11

B

i

а как лучше обходить вещи типа proc(['hello ', 'world ', None]) ? get() может None возвращать. В компрехеншене я бы написал [x.strip() if x else '' for x in ololo]. А тут получается надо ValueError ловить?

Не уверен что понял, но в целом можно юзать itemloader

17:42пожаловаться #12

МС

i

а как лучше обходить вещи типа proc(['hello ', 'world ', None]) ? get() может None возвращать. В компрехеншене я бы написал [x.strip() if x else '' for x in ololo]. А тут получается надо ValueError ловить?

+ за ItemLoader. Оно само отсечет всякие None и прочее.
в при моем примере - это самому следить надо

17:45пожаловаться #13

i

i in Scrapy

надо будет таки с ним что-то сделать, мне еще год назад сказали юзай итемлоадер, я даже прочел и мне понравилось, но так и не юзал)

17:48пожаловаться #14

Юd

Юра de jure in Scrapy

Юра de jure

Кто-то пробовал запускать Selenium в OS без GUI? Именно OS без GUI а не headless режим в Selenium.

Без особых проблем получилось. Ubuntu Server 18.04, 512RAM/5Gb SSD, 1 поток.

Когда запустил программу, проц работал на 80%, и операвитка примерно так же.

Так что кто собирается делать армию ботов - берите на заметку))

18:05пожаловаться #15

Юd

Юра de jure in Scrapy

Во время запуска сидел в tmux, нагрузку мониторил через htop

18:06пожаловаться #16

К

Кирилл in Scrapy

Мы знаем😇

18:06пожаловаться #17

Юd

Юра de jure in Scrapy

Кирилл

Мы знаем😇

Ещё раз спасибо😊👍

18:06пожаловаться #18

К

Кирилл in Scrapy

Для стабильной работы примерно 1гб оперативкии

18:07пожаловаться #19

i

i in Scrapy

Юра de jure

Без особых проблем получилось. Ubuntu Server 18.04, 512RAM/5Gb SSD, 1 поток.

Когда запустил программу, проц работал на 80%, и операвитка примерно так же.

Так что кто собирается делать армию ботов - берите на заметку))

можешь еще swap раздел там сделать, если vds его автоматом не сделал. Будет меньше шансов, что придет страшный oom killer