В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 15

МС

Михаил Синегубов... in Scrapy
Marat Мkhitаrуаn
У скрапи есть способы чтобы такие библиотеки интегрировать? Было бы удобно если можно было использовать все эти абстракции для айтемов итд не только для http кравлеров.
а нахрена тут скрапи? не надо его совать во все дырки, он не настолько универсален :)
источник
18:26пожаловаться#1

МС

Михаил Синегубов... in Scrapy
если я правильно помню, у ботов/юзерботов даже событие нового сообщения есть. Так то с помощью его можно спокойно новые посты ловить
источник
18:27пожаловаться#2

S

SoHard 🎄 in Scrapy
Михаил Синегубов
если я правильно помню, у ботов/юзерботов даже событие нового сообщения есть. Так то с помощью его можно спокойно новые посты ловить
есть
источник
18:28пожаловаться#3

МС

Михаил Синегубов... in Scrapy
ну, тем более, зачем устраивать геморой с отловом новых постов, есть это есть "в коробке"
источник
18:29пожаловаться#4

G

Georgiy in Scrapy
Oleg Shleiko
Товарищи, а по дефолту скрапи пытается запросы отправлять на ужатый response или нет?
https://github.com/scrapy/scrapy/blob/2.4.0/scrapy/downloadermiddlewares/httpcompression.py
По умолчанию  HttpCompressionMiddleware добавляет gzip, deflate, br, zstd (с v2.4)  в Accept-Encoding header то есть - да.
GitHub
scrapy/scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python. - scrapy/scrapy
источник
18:29пожаловаться#5

A

Andrii in Scrapy
Ура, а то я вручную писал 🙄🤣
источник
18:33пожаловаться#6

OS

Oleg Shleiko in Scrapy
Georgiy
https://github.com/scrapy/scrapy/blob/2.4.0/scrapy/downloadermiddlewares/httpcompression.py
По умолчанию  HttpCompressionMiddleware добавляет gzip, deflate, br, zstd (с v2.4)  в Accept-Encoding header то есть - да.
GitHub
scrapy/scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python. - scrapy/scrapy
спасибо за ответ
источник
19:00пожаловаться#7

i

i in Scrapy
интересно, а sdch он поддерживает?
источник
22:24пожаловаться#8

i

i in Scrapy
сейчас все браузеры в основном пишут deflate, sdch
источник
22:24пожаловаться#9

i

i in Scrapy
хм, интересно "SDCH compression was removed from Google Chrome, and other Chromium products, in version 59 (2017-06-05)."
источник
22:28пожаловаться#10

F

Fedor in Scrapy
Кто-то делает парсеры на PHP?
источник
22:28пожаловаться#11

К

Кирилл in Scrapy
Fedor
Кто-то делает парсеры на PHP?
Здесь чат по пайтону
источник
22:29пожаловаться#12

F

Fedor in Scrapy
Кирилл
Здесь чат по пайтону
А есть по PHP? )
источник
22:30пожаловаться#13

💀Ҁ

💀 Ңӥҟӥҭӓ Ҁӆӑҫҭӥӿӥӊ 🐲... in Scrapy
есть
источник
22:31пожаловаться#14

A

Andrii in Scrapy
Читал вообще что js прогресивне пайтона для скрейпинга
источник
22:31пожаловаться#15

i

i in Scrapy
https://github.com/BruceDone/awesome-crawler ищи в ту сторону
GitHub
BruceDone/awesome-crawler
A collection of awesome web crawler,spider in different languages - BruceDone/awesome-crawler
источник
22:31пожаловаться#16

К

Кирилл in Scrapy
Andrii
Читал вообще что js прогресивне пайтона для скрейпинга
Чего это?
источник
22:33пожаловаться#17

i

i in Scrapy
лол, походу давнооооо я не пересматривал свои заголовки для скрапи) надо бы сменить deflate, sdch на gzip, deflate, br)
источник
22:33пожаловаться#18

i

i in Scrapy
ну может типа асинхронности больше, хз, какие ваши доказательства?)
источник
22:33пожаловаться#19

A

Andrii in Scrapy
Через пупитер и еще что-то
источник
22:37пожаловаться#20