В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

626 membersпожаловаться на группу
2020 September 02

BL

Boris Litvyakov in Scrapy
какую тогда утилиту можно взять?
источник
23:46пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
curl -C
источник
23:46пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
чудес не бывает
источник
23:47пожаловаться#3

BL

Boris Litvyakov in Scrapy
тупо питоном в цикле вызывать curl -C пока не докачается?
источник
23:47пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
питон тут не нужен
источник
23:47пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
ну или по старинке FlashGet
источник
23:47пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
т.е. простите aria2 или чо там щас модно у диалапщиков
источник
23:47пожаловаться#7

BL

Boris Litvyakov in Scrapy
Andrey Rahmatullin
питон тут не нужен
ну я просто хочу распаллелить еще задачу, поэтому буду управлять из питона. сервер режет скорость и на один файл уходит по 10 минут
источник
23:48пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
см. выше
источник
23:48пожаловаться#9

BL

Boris Litvyakov in Scrapy
спасибо
источник
23:48пожаловаться#10

S

Spirit💎 in Scrapy
Кирилл
ещё есть response.request.meta['redirect_urls'] там будут ссылки редиректов
вот этот корректно отработал, а response.request.url показал уже редиректнутый урл
источник
23:58пожаловаться#11
2020 September 03

S

SoHard 🎄 in Scrapy
Доброго, нужен совет.
есть страница с кучей script type="application/ld+json мне нужен только с определенным "@type" как лучше искать? перебором или регуляркой?
источник
08:16пожаловаться#12

B

Bulatbulat48 in Scrapy
SoHard 🎄
Доброго, нужен совет.
есть страница с кучей script type="application/ld+json мне нужен только с определенным "@type" как лучше искать? перебором или регуляркой?
CSS/Xpath справится, если правильно понял. script[type=...]
источник
08:25пожаловаться#13

S

SoHard 🎄 in Scrapy
Bulatbulat48
CSS/Xpath справится, если правильно понял. script[type=...]
там нужно еще сравнить определенную часть скрипта еще
источник
08:26пожаловаться#14

B

Bulatbulat48 in Scrapy
:contains(текст)
источник
08:27пожаловаться#15

S

SoHard 🎄 in Scrapy
спс, а то я вообще забыл что так тоже можно
источник
09:37пожаловаться#16

A

Andrii in Scrapy
а можно как-то остановить паука, что б он сохранил поточньій результат?
источник
10:09пожаловаться#17

S

SoHard 🎄 in Scrapy
Andrii
а можно как-то остановить паука, что б он сохранил поточньій результат?
состояние своё? или как?
источник
10:10пожаловаться#18

К

Кирилл in Scrapy
какой результат
источник
10:10пожаловаться#19

S

SoHard 🎄 in Scrapy
на ум пришло только это
https://docs.scrapy.org/en/latest/topics/jobs.html
источник
10:11пожаловаться#20