Size: a a a

2020 September 21

К

Кирилл in Scrapy
Андрей
какая то функция
a = {city : link}
scrapy.Request(url, callback=self.parse_reviews)


def parse_reviews(self, response):

Вопрос, как передать переменную а в следующую функцию?
cb_kwargs
источник

А

Андрей in Scrapy
А вызвать как?)
источник

К

Кирилл in Scrapy
источник

К

Кирилл in Scrapy
Пробуй поиском пользоваться, очень помогает
источник

А

Андрей in Scrapy
спасибо
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
посоветуйте пул с очень большим количеством айпишок :)
источник

OS

Oleg Shleiko in Scrapy
приветствую всех! Подскажите пожалуйста, каким питоном лучше пользоваться в докере что б не было проблем со скрапи?
источник

К

Кирилл in Scrapy
Этот выглядит нормально https://hub.docker.com/r/badouralix/python-scrapy/
источник

OS

Oleg Shleiko in Scrapy
Кирилл
Этот выглядит нормально https://hub.docker.com/r/badouralix/python-scrapy/
да не, мне не нужен был готовый) Я сам могу сделать, просто не очень шарю по функционалу alpine
источник

К

Кирилл in Scrapy
Так ты можешь или не можешь?
источник

AR

Andrey Rahmatullin in Scrapy
Тогда при чём тут докер
источник

AR

Andrey Rahmatullin in Scrapy
Последним выпущенным
источник

К

Кирилл in Scrapy
Если можешь, делай, если не можешь, вон я скинул
источник

OS

Oleg Shleiko in Scrapy
Спасибо за ссылку, спрошу так: всё ли будет работать в скрапи если я за основу возьму образ python:3.8.5-alpine3.12?
источник

К

Кирилл in Scrapy
Ладно, похоже не можешь... Скорее всего не будет сразу работать, для твистеда нужен компилятор, а он там удаляется после сборки изображения
источник

OS

Oleg Shleiko in Scrapy
Спасибо за информацию
источник

К

Кирилл in Scrapy
Oleg Shleiko
Спасибо за информацию
Возьми список зависимостей из того изображения что я скинул, и пропиши их в alpine, тебе там нужно будет apt поменять на apk, и некоторые пакеты в альпайн чуть-чуть по-другому называются, тут уже сам гугли какое привильное название
источник

OS

Oleg Shleiko in Scrapy
Кирилл
Возьми список зависимостей из того изображения что я скинул, и пропиши их в alpine, тебе там нужно будет apt поменять на apk, и некоторые пакеты в альпайн чуть-чуть по-другому называются, тут уже сам гугли какое привильное название
ого, огромное спасибо, попробую поковырять)
источник
2020 September 22

A

Andrii in Scrapy
Доброе утро. В чем может бьіть проблема?
twisted.internet.error.TimeoutError: User timeout caused connection failure: Getting https://www.3m.com/3M/en_US/company-us/coronavirus/3m-covid-19-faqs/ took longer than 20.0 seconds..
источник