Size: a a a

2020 September 10

ss

san_ sarabat in Scrapy
А можно как то открыть файл цсв так чтобы не создавать базу, а использовать его как бд и средствами бд?
источник

К

Кирилл in Scrapy
san_ sarabat
А можно как то открыть файл цсв так чтобы не создавать базу, а использовать его как бд и средствами бд?
нет
источник

S

SoHard 🎄 in Scrapy
san_ sarabat
А можно как то открыть файл цсв так чтобы не создавать базу, а использовать его как бд и средствами бд?
источник

МС

Михаил Синегубов... in Scrapy
san_ sarabat
А можно как то открыть файл цсв так чтобы не создавать базу, а использовать его как бд и средствами бд?
In memory db
Тот же sqlite умеет.
Но это не совсем "открыть"
источник

ИБ

Иван Батурин... in Scrapy
А Excel? Или access...  И тот и другой имеют коннекторы sql насколько я понимаю. Что то типа dao.
источник

YB

Yaswanth Bangaru in Scrapy
Can I rsync a folder in which my Scraper is running? Also, I used nohup earlier and now I wonder how to figure out if the scraper is still working or not, is it okay to open the nohup.out file while the scraper is running? (I'm printing every url the scraper is working on, print happens once in every 2-3 seconds)
источник

К

Кирилл in Scrapy
Yaswanth Bangaru
Can I rsync a folder in which my Scraper is running? Also, I used nohup earlier and now I wonder how to figure out if the scraper is still working or not, is it okay to open the nohup.out file while the scraper is running? (I'm printing every url the scraper is working on, print happens once in every 2-3 seconds)
you can open the file, why not
источник

YB

Yaswanth Bangaru in Scrapy
But if the spider is trying to write text data to it, wouldn't it interrupt the scraping process?
источник

YB

Yaswanth Bangaru in Scrapy
I mean to the nohup.out
источник

К

Кирилл in Scrapy
just use less or tail
источник

К

Кирилл in Scrapy
also, you could use htop to inspect your processes and figure out is your scraper still running
источник

YB

Yaswanth Bangaru in Scrapy
i see, will check it out. Thank you
источник

S

SoHard 🎄 in Scrapy
.getall() дефолтное значение задать не получится ? вижу он просто вызывает .get для всех елементов
источник

AR

Andrey Rahmatullin in Scrapy
угу
источник

К

Кирилл in Scrapy
SoHard 🎄
.getall() дефолтное значение задать не получится ? вижу он просто вызывает .get для всех елементов
.getall() or []
источник

S

SoHard 🎄 in Scrapy
Кирилл
.getall() or []
спасибо
источник

S

SoHard 🎄 in Scrapy
Еще вопрос, когда я выгружаю в csv в первых сотнях строк у меня нет некоторых столбцов и какие именно они будут я не знаю.
Но потом когда они появляются, то скрапи пишет уже без них.
Как решить этот гемор?
источник

AR

Andrey Rahmatullin in Scrapy
указать поля явно
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
указать поля явно
они у меня по ходу парсинга появляются
источник

AR

Andrey Rahmatullin in Scrapy
🤷‍♂️
источник