Телеграмм чат группы scrapy_python страница 1957

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

621 membersпожаловаться на группу

2020 September 01

К

Кирилл in Scrapy

ох уж эти and в нэйминге)

источник

10:49пожаловаться #1

i

а как лучше?

источник

10:50пожаловаться #2

i

типа 2 прогона как-то реализовать?

источник

10:51пожаловаться #3

К

Кирилл in Scrapy

and явно указывает что у тебя смешанная логика и две ответсвенности

источник

10:51пожаловаться #4

К

Кирилл in Scrapy

Зависит от задачи, но скорее всего тебе нужно выделить что-то более абстрактное, чтоб оно характеризовало эти две задачи

источник

10:52пожаловаться #5

i

а, ну не, там на самом деле именно то, что мне нужно, просто я конкреееетно прям указываю для себя будущего чего оно творит.

источник

10:55пожаловаться #6

К

Кирилл in Scrapy

Ты в имени пытаешься описать внутреннюю реализацию функции, а это должна быть абстракция)

источник

10:56пожаловаться #7

S

SoHard 🎄 in Scrapy

ох уж эти and в нэйминге)

and еще норм) но чо оно такое длиннющее

источник

10:56пожаловаться #8

К

Кирилл in Scrapy

потому и длиннющее, из-за and

источник

10:57пожаловаться #9

i

уф, чет доооолго думал как-бы это можно поделить, но там бы еще в 2 раза больше кода бы пришлось писать, ну его нафиг)

источник

11:13пожаловаться #10

AR

Andrey Rahmatullin in Scrapy

🤷‍♂️

источник

11:13пожаловаться #11

f

fishsouprecipe 🤍 in Scrapy

Это правильный подход)

источник

11:19пожаловаться #12

f

fishsouprecipe 🤍 in Scrapy

Делить все на атомарные функции

источник

11:19пожаловаться #13

f

fishsouprecipe 🤍 in Scrapy

Срп

источник

11:19пожаловаться #14

i

fishsouprecipe 🤍

Запускаю в 5 тредов 5 селениумов, общаюсь с ними через loop.run_in_executor. Есть какие-то советы?)

я видел реализацию какого-то китайца, он сделал очередь на вкладках firefox'a. Не знаю правда, что это ему дало, меньше ли при этом памяти жрет браузер (особенно на примере хрома) или нет.
https://github.com/diemus/multi-selenium-in-scrapy

diemus/multi-selenium-in-scrapy

通过headless chrome实现selenium+scrapy的伪并发，提高动态网站爬取效率。 - diemus/multi-selenium-in-scrapy

источник

11:20пожаловаться #15

S

SoHard 🎄 in Scrapy

я видел реализацию какого-то китайца, он сделал очередь на вкладках firefox'a. Не знаю правда, что это ему дало, меньше ли при этом памяти жрет браузер (особенно на примере хрома) или нет.
https://github.com/diemus/multi-selenium-in-scrapy

diemus/multi-selenium-in-scrapy

通过headless chrome实现selenium+scrapy的伪并发，提高动态网站爬取效率。 - diemus/multi-selenium-in-scrapy

меньше конечно

источник

11:22пожаловаться #16

S

SoHard 🎄 in Scrapy

вкладка != браузер

источник

11:23пожаловаться #17

f

fishsouprecipe 🤍 in Scrapy

Мне нужно несколь разных юзер диров и агентов

источник

11:23пожаловаться #18

f

fishsouprecipe 🤍 in Scrapy

Разные прокси через екстеншн

источник

11:23пожаловаться #19

i

навскидочно-натурный эксперимент показал шо чет не особо, вот 4 отдельных браузера хрома с открытой страницей:
https://i.imgur.com/MN6uJiR.png

источник

11:23пожаловаться #20