Size: a a a

2020 January 14

C

Cyberdine Engineering🐤 in Scrapy
За исключением  cython пакетов
источник

МС

Михаил Синегубов in Scrapy
Cyberdine Engineering🐤
Можно, но так никто не делает
1. пишу супер хитрую либу
2. хочу срубить бабла
3. оборачиваю в бинарник
источник

C

Cyberdine Engineering🐤 in Scrapy
Михаил Синегубов
1. пишу супер хитрую либу
2. хочу срубить бабла
3. оборачиваю в бинарник
У меня для тебя плохие новости
Есть дизассемблирование
источник

JW

John Wayne in Scrapy
Михаил Синегубов
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/extensions/feedexport.py#L214
запрашивается список полей из настроек (если задан)

https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/extensions/feedexport.py#L234
вызываются экспортеры, передается список полей (если задан)

https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/exporters.py#L238
прописываются заголовки экспорта, если НЕ ЗАДАНЫ поля, то они берутся из первого айтем (эта процедура вызывается когда надо записать заголовок), если они заданы - то они и пропищутся, те, что заданы
Мб я чего то не понял, но прописал 5 полей, обрезало 8 полей до 5, поскольку длинны полей я не знаю заранее, они из парсинга берутся, прописывать заранее не вариант.
В общем порешал через пандас, если кому интересно вот так:
https://paste.centos.org/view/5fd3ff31
источник

МС

Михаил Синегубов in Scrapy
Cyberdine Engineering🐤
У меня для тебя плохие новости
Есть дизассемблирование
у меня есть новости еще хуже, есть протекторы, и в блольшинстве случаев дешевле будет купить, чем сломать
источник

МС

Михаил Синегубов in Scrapy
John Wayne
Мб я чего то не понял, но прописал 5 полей, обрезало 8 полей до 5, поскольку длинны полей я не знаю заранее, они из парсинга берутся, прописывать заранее не вариант.
В общем порешал через пандас, если кому интересно вот так:
https://paste.centos.org/view/5fd3ff31
напиши названия полей по максиуму
источник

C

Cyberdine Engineering🐤 in Scrapy
Михаил Синегубов
у меня есть новости еще хуже, есть протекторы, и в блольшинстве случаев дешевле будет купить, чем сломать
Норомальный реверсер отрубит любой протектор
источник

МС

Михаил Синегубов in Scrapy
убил бы за try...except при определении существования файла
источник

C

Cyberdine Engineering🐤 in Scrapy
Рано или позлно найдется тот кто сломает твою любу бесплатно и выкинет в нет
источник

C

Cyberdine Engineering🐤 in Scrapy
Михаил Синегубов
убил бы за try...except при определении существования файла
Why not
источник

МС

Михаил Синегубов in Scrapy
ну, не знаю, у меня привычка "если надо проверить, значит проверить", а не "мы пропробуем  сделать, ахренеем от ощибки и потом уже будем пытаться эту срань разгрести"
ну и. эта проверка одной строкой делается
источник

JW

John Wayne in Scrapy
Михаил Синегубов
убил бы за try...except при определении существования файла
надо if not os.path.exists():? так os импортировать еще..
источник

AR

Andrey Rahmatullin in Scrapy
будет TOCTOU :)
источник

МС

Михаил Синегубов in Scrapy
Andrey Rahmatullin
будет TOCTOU :)
а это ХТО?
источник

AR

Andrey Rahmatullin in Scrapy
time of check-time of use рейс
источник

AR

Andrey Rahmatullin in Scrapy
Михаил Синегубов
ну, не знаю, у меня привычка "если надо проверить, значит проверить", а не "мы пропробуем  сделать, ахренеем от ощибки и потом уже будем пытаться эту срань разгрести"
ну и. эта проверка одной строкой делается
а про EAFP vs LBYL есть прямо в оф.доке питона
источник

AR

Andrey Rahmatullin in Scrapy
источник

in Scrapy
А 2 спайдера одновременно запустятся через докер или нет?
источник

AR

Andrey Rahmatullin in Scrapy
а чо нет
источник

AR

Andrey Rahmatullin in Scrapy
(не знаю, что такое через докер)
источник