МС
я просто сказал свою реализацию, вдруг тебе критично все внутри паука хранить
Size: a a a
2020 January 09
В
Добрый день. Есть джанго проект с моделями. Я создал проект scrapy, создал Item с полями, пауков. В settings делаю импорты и django.setup(), в Pipeline в process_item создаю Джанго объект. Сейчас я хотел бы вынести scrapy в отдельный сервак, чтобы запускать его через scrapyd по расписанию. Вопрос как теперь сохранять джанго объекты, если проект нужно деплоить через egg? (
АП
О, добро пожаловать в понимание того что джанга говно глобальное с прибитыми гвоздями моделями.
МС
эээ, я разве тру программистя не через HTTP запросы в джангу суют данные?🙃.
АП
В джангу да.
А он хочет использовать Джанго орм без джанги.
А он хочет использовать Джанго орм без джанги.
МС
В джангу да.
А он хочет использовать Джанго орм без джанги.
А он хочет использовать Джанго орм без джанги.
🙄
кхм, я и не знал, что там можно попробовать....
кхм, я и не знал, что там можно попробовать....
В
эээ, я разве тру программистя не через HTTP запросы в джангу суют данные?🙃.
Даже не подумал об этом)))
SS
Добрый день. Есть джанго проект с моделями. Я создал проект scrapy, создал Item с полями, пауков. В settings делаю импорты и django.setup(), в Pipeline в process_item создаю Джанго объект. Сейчас я хотел бы вынести scrapy в отдельный сервак, чтобы запускать его через scrapyd по расписанию. Вопрос как теперь сохранять джанго объекты, если проект нужно деплоить через egg? (
Владислав, добрый день! Как раз сейчас занимаюсь похожим проектом и столкнулся с проблемой, что при запуске скрейпи из кода джанги(при клике по кнопке из вьюхи), скрейпи запускается, но не видит своего файла settings.py(scrapy). Подскажите, как у Вас запускается скрейпи? Из кода или вручную?
В
Владислав, добрый день! Как раз сейчас занимаюсь похожим проектом и столкнулся с проблемой, что при запуске скрейпи из кода джанги(при клике по кнопке из вьюхи), скрейпи запускается, но не видит своего файла settings.py(scrapy). Подскажите, как у Вас запускается скрейпи? Из кода или вручную?
Я запускаю через scrapydweb
SS
А данные уже льются в джанго
а запуск происходит из кода джанги или из scrapydweb прямо?
В
а запуск происходит из кода джанги или из scrapydweb прямо?
2 вариант. С запуском из джанго даже не хочу связываться)
SS
2 вариант. С запуском из джанго даже не хочу связываться)
понял. А у меня и запуск из жданги и еще Celery прикручен… вот и мучаюсь
K
Всем привет. Может кто глянуть в чем проблема. Выглядит вв shellсе очень просто, но рузультат пустой. Другие элементы скрапи берет без проблем.Пытаюсь получить по ссылке https://www.dunelm.com/product/cast-iron-medium-cooking-pot-1000123369 , class="css-sfl0gj eofwkkb0" текст £9.95 и ни фига... и так пробовал в shell: response.xpath('//*[@id="root"]/div[1]/div[5]/div/div/div[3]/div[2]/div/div[3]/div/div[1]/div[1]/div[2]/div[2]').extract() и так response.xpath("//div[@class='css-sfl0gj eofwkkb0']").extract() и так response.xpath('//*[contains(@class,"css-sfl0gj eofwkkb0")]').extract() . везде пусто
B
Всем привет. Может кто глянуть в чем проблема. Выглядит вв shellсе очень просто, но рузультат пустой. Другие элементы скрапи берет без проблем.Пытаюсь получить по ссылке https://www.dunelm.com/product/cast-iron-medium-cooking-pot-1000123369 , class="css-sfl0gj eofwkkb0" текст £9.95 и ни фига... и так пробовал в shell: response.xpath('//*[@id="root"]/div[1]/div[5]/div/div/div[3]/div[2]/div/div[3]/div/div[1]/div[1]/div[2]/div[2]').extract() и так response.xpath("//div[@class='css-sfl0gj eofwkkb0']").extract() и так response.xpath('//*[contains(@class,"css-sfl0gj eofwkkb0")]').extract() . везде пусто
цена товара нужна или что?