Телеграмм чат группы scrapy_python страница 999

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу

2019 December 18

o

oneonwar in Scrapy

А это кстати правда что они суют левые объекты на карту типа что бы ловить потом тех кто у них что то украдет и это типа маркеры в датасетах
Я знаю что 2гис так делает 100% А про Гугл и Яндекс подозреваю что тоже

источник

11:31пожаловаться #1

К

Кирилл in Scrapy

Об этом не скажу, задача была достать все что есть на гугл карте

источник

11:33пожаловаться #2

К

Кирилл in Scrapy

не проверяя)

источник

11:33пожаловаться #3

o

oneonwar in Scrapy

Ну видимо это уже будут проблемы человека) ладно Спасибо)

источник

11:34пожаловаться #4

AR

Andrey Rahmatullin in Scrapy

А это кстати правда что они суют левые объекты на карту типа что бы ловить потом тех кто у них что то украдет и это типа маркеры в датасетах
Я знаю что 2гис так делает 100% А про Гугл и Яндекс подозреваю что тоже

500 лет этой практике

источник

11:35пожаловаться #5

К

Кирилл in Scrapy

Ну видимо это уже будут проблемы человека) ладно Спасибо)

Это уже издержки, если клиент хотел бы чистые данные, мог бы 6-10к$ заплатить за API и все было бы хорошо)

источник

11:40пожаловаться #6

EB

Elisei Badanin in Scrapy

А это кстати правда что они суют левые объекты на карту типа что бы ловить потом тех кто у них что то украдет и это типа маркеры в датасетах
Я знаю что 2гис так делает 100% А про Гугл и Яндекс подозреваю что тоже

ну сунуть та они сунут, а что потом предъявлять будут?

источник

11:57пожаловаться #7

N

Nikolay in Scrapy

А как можно добавить урл сразу на прохождение а не в самом конце? То есть страница попала на разбор, я извлёк нужные урлы и тут же бросил их на прохождение /скачку.

источник

12:20пожаловаться #8

К

Кирилл in Scrapy

priority=

источник

12:21пожаловаться #9

AR

Andrey Rahmatullin in Scrapy

но оно не гарантирует

источник

12:23пожаловаться #10

AR

Andrey Rahmatullin in Scrapy

но на долгом промежутке да

источник

12:23пожаловаться #11

N

Nikolay in Scrapy

Благодарю. Мне форсированный старт и не нужен - просто чтобы как можно ближе к моменту нахождения

источник

12:42пожаловаться #12

E

Evgen in Scrapy

А как можно добавить урл сразу на прохождение а не в самом конце? То есть страница попала на разбор, я извлёк нужные урлы и тут же бросил их на прохождение /скачку.

Inline_requests

источник

13:22пожаловаться #13

iz

izzz zzi in Scrapy

запустил 2 паука они на 1 ядре крутятся , это конфиг scrapyd нужно редачить?

источник

18:07пожаловаться #14

МС

Михаил Синегубов in Scrapy

запустил 2 паука они на 1 ядре крутятся , это конфиг scrapyd нужно редачить?

начнем с того, где ты запустил "два паука"

источник

20:38пожаловаться #15

iz

izzz zzi in Scrapy

vps/pc - разница?

источник

20:49пожаловаться #16

i

ildar in Scrapy

вангую шо паука-то там два, но крутятся они на одном твистере, а скрапи это одноядерная приблуда

источник

21:29пожаловаться #17

i

ildar in Scrapy

можно еще что-то это попробовать глянуть:
https://github.com/scrapy/scrapyd/issues/336

scrapyd not fully utilizing cpu · Issue #336 · scrapy/scrapyd

We have a lot of perodic crawler jobs to do and therefore bought a server with a strong 24 core - 48 threads amd epyc cpu. Currently there are always between 7000 & 9000 crawler jobs on pen...

источник

21:29пожаловаться #18

i

ildar in Scrapy

https://stackoverflow.com/questions/45002823/how-to-use-all-cpu-cores-for-scrapy

How to use all CPU cores for Scrapy

My scrapy program only uses one CPU core no matter how CONCURRENT_REQUESTS i do. If or not some methods in scrapy can use all the cpu core just in one scrapy crawler?

ps: it seems have arguement

источник

21:29пожаловаться #19

МС

Михаил Синегубов in Scrapy

vps/pc - разница?

ок, тогда вопрос - а почему паук должен работать в нескольких ядрах? это ты в scrapyd запускаеш?а инстансов scrdapyd сколько? а что ты сделал?
ты уж извини, я не выспался и психую, но, блин. Неужели настолько сложно хоть чуть чуть написать? специально прокрутил, это твое первое сообщение за два дня. От каким хером надо понять что тебе надо?

источник

21:30пожаловаться #20