Size: a a a

2020 September 22

А

Андрей in Scrapy
можно обычным Request .text
источник

А

Андрей in Scrapy
на вход функции подается ссылка на json, внутри функции json разбирается и вытаскивается несколько нужных полей, в одном из полей есть id которое используется в следующей ссылке, в которой тоже есть нужная инфа, знаю что можно разнести по двум разным функциям и все будет окей, но мне нужно в одной
источник

А

Андрей in Scrapy
да про cb_kwargs знаю, но думал на прямую же проще:D
источник

А

Андрей in Scrapy
спасибо
источник

К

Кирилл in Scrapy
Вот так, нужно было в одной, но оказалось что не нужно
источник

a

ab_4040 in Scrapy
Всем привет! Кто пишет скраперы на scrapy на заказ и готов поучить другого это делать?
источник

МС

Михаил Синегубов... in Scrapy
ab_4040
Всем привет! Кто пишет скраперы на scrapy на заказ и готов поучить другого это делать?
эээ, думаю, правильный ответ будет "никто" :)
если есть вопросы - спрашивай, только сам попробуй хоть что то сделать
источник

К

Кирилл in Scrapy
Ну может кто-то и захочет, только непонятно что именно нужно
источник

a

ab_4040 in Scrapy
Михаил Синегубов
эээ, думаю, правильный ответ будет "никто" :)
если есть вопросы - спрашивай, только сам попробуй хоть что то сделать
Я пробую, но плохо получается) В программировании 0. Только начал учиться, пока занимаюсь odoo. Но задач много, все не охватить, всему не научиться, жизни не хватит.
источник

i

i in Scrapy
Oleg Shleiko
Спасибо за ссылку, спрошу так: всё ли будет работать в скрапи если я за основу возьму образ python:3.8.5-alpine3.12?
ну у меня примерно такой в докерах и стоит. там главное не версия питона, а изначальные пакеты правильно прописать, чтобы компиляемое вида lxml, twisted, могло скомпилиться (а потом удабить за ненадобностью)
есть вариант еще плюнуть и взять дебиановский slim-докер, но это не наш метод 😊
источник

a

ab_4040 in Scrapy
Кирилл
Ну может кто-то и захочет, только непонятно что именно нужно
Спарсить каталог товаров с сайта, ничего нового ) Сайт на немецком, язык знаю, структуру каталога знаю, тз сформировать могу.
источник

OS

Oleg Shleiko in Scrapy
ab_4040
Спарсить каталог товаров с сайта, ничего нового ) Сайт на немецком, язык знаю, структуру каталога знаю, тз сформировать могу.
так ты сам хочешь научиться или посредником заказа выступить?
источник

i

i in Scrapy
а хотя не, я посмотрел в текущий докер образ для джанги, таки дебиан-слим это был наш метод, ахаха
FROM python:3.7.3-slim-stretch
(но я точно помню, что добился того, чтобы и там докер+скрапи нормально поднимались, просто не взяли по-каким-то другим причинам)
источник

a

ab_4040 in Scrapy
Не вижу логики. Т.е. если человекне умеет ездить на машине, то ему и не надо наней ездить?
источник

a

ab_4040 in Scrapy
Oleg Shleiko
так ты сам хочешь научиться или посредником заказа выступить?
Я сам заказчик, какие посредники? Вы тут все такие подозрительные?
источник

OS

Oleg Shleiko in Scrapy
i
а хотя не, я посмотрел в текущий докер образ для джанги, таки дебиан-слим это был наш метод, ахаха
FROM python:3.7.3-slim-stretch
(но я точно помню, что добился того, чтобы и там докер+скрапи нормально поднимались, просто не взяли по-каким-то другим причинам)
у меня джанга - другой проект, пока хочу со скрапи именно разобраться, да вот чёт второй день размышляю: места на серваке хватает, стоит ли упариваться с уменьшением образа....
источник

К

Кирилл in Scrapy
что за сервер такой
источник

К

Кирилл in Scrapy
ab_4040
Я сам заказчик, какие посредники? Вы тут все такие подозрительные?
Все)
источник

OS

Oleg Shleiko in Scrapy
Кирилл
что за сервер такой
тебе хостера или парметры?))
источник

К

Кирилл in Scrapy
Скорее что за хост, если там так мало места
источник