Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 October 06

Подскажите, как скрапи проект скомпилировать в один исполняемый файл?

Единственный известный мне способ создания .exe файла из scrapy приложения (консольного scrapy as script - не scrapy project):
https://stackoverflow.com/a/54600860/10884791
https://stackoverflow.com/a/55339170/10884791

Stack Overflow

python scrapy conversion to exe file using pyinstaller

I am trying to convert a scrapy script to a exe file.
The main.py file looks like this:

from scrapy.crawler import CrawlerProcess
from amazon.spiders.amazon_scraper import Spider

spider = Spider()

источник

18:38пожаловаться #1

MМ

Marat Мkhitаrуаn in Scrapy

Andrii

Можно

Через file:// ?

источник

18:38пожаловаться #2

Andrii in Scrapy

Marat Мkhitаrуаn

Через file:// ?

Да

источник

18:39пожаловаться #3

Andrii in Scrapy

Marat Мkhitаrуаn

Через file:// ?

Первая ссьілка в гугле если что)

источник

18:41пожаловаться #4

ИМ

Игорь Михайлов... in Scrapy

он использует кучу билдимых библиотек аля твистед или lxml и это будет довольно трудно, у меня на проектах намного меньше уже начинались адовые проблемы чтобы сделать экзешник. А что ты пытаешься сделать, зачем тебе он один? если в качестве средства доставки клиенту - используй лучше докер. Если хочешь скрыть - лучше сделай аля saas-сервис.

Для доставки. Докер я думаю будет в самый раз. Большое спасибо!

источник

18:41пожаловаться #5

Andrii in Scrapy

Но как по мне, лучше кеш юзать

источник

18:42пожаловаться #6

Andrey Rahmatullin in Scrapy

Marat Мkhitаrуаn

нужно чтобы скрапи запрос с локального файла прочитал, такое возможно?

запрос или ответ?

источник

19:28пожаловаться #7

MМ

Marat Мkhitаrуаn in Scrapy

Andrey Rahmatullin

запрос или ответ?

ответ

источник

19:29пожаловаться #8

MМ

Marat Мkhitаrуаn in Scrapy

с файла норм

источник

19:29пожаловаться #9

Andrey Rahmatullin in Scrapy

https://github.com/scrapinghub/scrapy-autounit

GitHub

scrapinghub/scrapy-autounit

Automatic unit test generation for Scrapy. Contribute to scrapinghub/scrapy-autounit development by creating an account on GitHub.

источник

19:29пожаловаться #10

i in Scrapy

там тока вроде не file:// а file:///, ну вернее, в юниксах то оно будет аля file:///home/1.csv - т.е. последний слеш показывает корневой каталог, а в винде file:///C:/lololo/1.csv

источник

21:05пожаловаться #11

MМ

Marat Мkhitаrуаn in Scrapy

Да, через хром сначала файл открыл и получил URL. Тк у меня убунта там был file:///

источник

21:08пожаловаться #12

2020 October 07

Oleg Shleiko in Scrapy

Всем привет. Может кто рассказать в чём фишка scrapoxy?

источник

11:35пожаловаться #13