Size: a a a

2020 September 07

К

Кирилл in Scrapy
эта штука видимо разжимает ответ и убирает хэдэр content-encoding , в то время когда скрапи опирается на Content-Encoding и пытается ещё раз разжать ответ
источник

AR

Andrey Rahmatullin in Scrapy
т.е. не убирает
источник

К

Кирилл in Scrapy
да
источник

AR

Andrey Rahmatullin in Scrapy
Andrey Rahmatullin
Сайт врёт про сжатие, или кто-то по дороге разжал и не убрал заголовок
👆
источник

К

Кирилл in Scrapy
да, так и есть
источник

К

Кирилл in Scrapy
Andrii
В етом случае нет. Акцепт енкодинг помог
Можешь там скрипт пофиксить, на 14 строке, будет норм убирать заголовок, и по идее всё хорошо начнет работать
источник

AL

Alexey Lemeshevski in Scrapy
Andrey Rahmatullin
чтобы сохранять в очереди что-то кроме самой ссылки, есть cb_kwargs
ещё раз спасибо ) более-менее разобрался во всем )

...прикольно, что из def parse(...) можно вернуть новые request'ы и указать для них свои callback-функции ) ...так, в интернет-магазине для ссылок, похожих на ссылки на страницы категорий можно использовать одну функцию, а для ссылок, похожих на карточки товара - другую ) ну или один parse и через cb_kwargs передать угаданный признак страницы )

И вот это тоже дико удобно:
yield from response.follow_all(anchors, callback=self.parse_cat ...) :)
источник

Ц

Цукерберг in Scrapy
Ребят привет
нужен кодер - работа с телеграм апи на мини проект
- считать из txt список ников
- добавить юзера в группу
- выплюнуть в лог файл
источник

Ц

Цукерберг in Scrapy
В лс
источник

К

Кирилл in Scrapy
Цукерберг
Ребят привет
нужен кодер - работа с телеграм апи на мини проект
- считать из txt список ников
- добавить юзера в группу
- выплюнуть в лог файл
Здесь не чат пол телеграму
источник

Ц

Цукерберг in Scrapy
Кирилл
Здесь не чат пол телеграму
Ну мне посоветовали что можно найти здесь хорошего кодера
источник

S

SoHard 🎄 in Scrapy
Цукерберг
Ребят привет
нужен кодер - работа с телеграм апи на мини проект
- считать из txt список ников
- добавить юзера в группу
- выплюнуть в лог файл
ищи чат по telethon, pyrogram и тд.
источник

Ц

Цукерберг in Scrapy
SoHard 🎄
ищи чат по telethon, pyrogram и тд.
Можно ссылки в ЛС пж)
источник

S

SoHard 🎄 in Scrapy
Цукерберг
Можно ссылки в ЛС пж)
источник

К

Кирилл in Scrapy
https://t.me/pyrogramchat
https://t.me/TelethonChat

но там, так же как и здесь, чаты для разработчиков, с заказами скорее всего пошлют
источник

S

SoHard 🎄 in Scrapy
ну и на последок, спамить подписками на чаты чревато баном как для акков которые подписывают так и для тех на которые подписываются
источник

МС

Михаил Синегубов... in Scrapy
ууух, как я люблю жмакать "это спам", когда меня добавляют в какую группу 😂
источник

S

SoHard 🎄 in Scrapy
Михаил Синегубов
ууух, как я люблю жмакать "это спам", когда меня добавляют в какую группу 😂
к счастью я еще не попадал в целевую аудиторию таких ))
источник

К

Кирилл in Scrapy
Для этого много не надо, просто состоять в группах которые пропарсят. Больше групп — больше шанс
источник

SS

Stepan Smirnov in Scrapy
а у кого нибудь есть опыт работы с AutoExtract Product API (Scrapinghub)?
источник