Size: a a a

2020 October 12

AR

Andrey Rahmatullin in Scrapy
впрочем хз, там дофига разных файлов в этой либе, может где-то и закрывается
источник

Marat Мkhitаrуаn in Scrapy
Думаю при finish_exporting() делать закрытие коннекта. Тут закрывается в close_spider https://github.com/filyph/scrapy-sqlite/blob/df55e6ad25d2ed4e5df5d7a7f9d104dd445108bd/scrapy_sqlite/httpcache.py#L49 но мне кажется правильнее в finish_exporting
источник

AR

Andrey Rahmatullin in Scrapy
а, я кажется понял проблему, коннект-то один на всех, закрывать его можно только в одном месте
источник

AR

Andrey Rahmatullin in Scrapy
странно что это сделано там, но ок
источник

AT

Andy Top in Scrapy
Всем привет, вот смотрите. Я вот совершал какую ошибку, ну вы мне скажете ошибку я совершал или нет. Я хотел на фрилансе поработать парсингом, я вообще не опытен в этом. И я думал что я на заказ делаю программу, ну открытый код, и отдаю его пользователю, и все время парился над удобностью как бы, нуу над тем умеет ли пользоваться кодом пользователь. А оказывается я сам парсю сайт например, по всем категория, и скидываю как итог файл со спарсенной информацией. Так вот я не понимаю , я должен скидывать кол или инфу? Нуу в основном вы как делаете, как вы берете задание скажите пожалуйста)
источник

К

Кирилл in Scrapy
Andy Top
Всем привет, вот смотрите. Я вот совершал какую ошибку, ну вы мне скажете ошибку я совершал или нет. Я хотел на фрилансе поработать парсингом, я вообще не опытен в этом. И я думал что я на заказ делаю программу, ну открытый код, и отдаю его пользователю, и все время парился над удобностью как бы, нуу над тем умеет ли пользоваться кодом пользователь. А оказывается я сам парсю сайт например, по всем категория, и скидываю как итог файл со спарсенной информацией. Так вот я не понимаю , я должен скидывать кол или инфу? Нуу в основном вы как делаете, как вы берете задание скажите пожалуйста)
И так и так бывает
источник

AT

Andy Top in Scrapy
Кирилл
И так и так бывает
Ну в основном вы как берете, в большем случае?? Просто блин есть такие, кому сделаешь, а оказывается что они не умеют пользовать кодом. А я сразу им говорил что будет код, а не прога с интерфейсом. И начинается, учишь их пользоваться. Ну так в большем случае как берете заказ?
источник

К

Кирилл in Scrapy
Делай с интерфейсом, тем более что достаточно подключить готовое решение)
источник

AR

Andrey Rahmatullin in Scrapy
что именно будет выдано - обговаривается первым делом, в любом фриланс заказе имхо
источник

К

Кирилл in Scrapy
Andy Top
Ну в основном вы как берете, в большем случае?? Просто блин есть такие, кому сделаешь, а оказывается что они не умеют пользовать кодом. А я сразу им говорил что будет код, а не прога с интерфейсом. И начинается, учишь их пользоваться. Ну так в большем случае как берете заказ?
Как человеку нужно так и берём. Если хочет только данные, то данные. Если хочет деплой на серв чтоб само работало, то деплой. Ну или если хочет чисто программу
источник

A

Andrii in Scrapy
Andy Top
Ну в основном вы как берете, в большем случае?? Просто блин есть такие, кому сделаешь, а оказывается что они не умеют пользовать кодом. А я сразу им говорил что будет код, а не прога с интерфейсом. И начинается, учишь их пользоваться. Ну так в большем случае как берете заказ?
А в тз что сказано?
источник

SS

Stepan Smirnov in Scrapy
Andy Top
Ну в основном вы как берете, в большем случае?? Просто блин есть такие, кому сделаешь, а оказывается что они не умеют пользовать кодом. А я сразу им говорил что будет код, а не прога с интерфейсом. И начинается, учишь их пользоваться. Ну так в большем случае как берете заказ?
Не прощу все самому прогонять и присылать итоговую табличку?
источник

СТ

Семён Трояновский... in Scrapy
хотя на фрилансе не работал особо но выскажусь. предлагаю делать так: если заказчик вписывает в тз разработку гуи, пилишь гуи и берёшь экстра кэш за это. если нет - отдаёшь тупо данные. problem solved
источник

СТ

Семён Трояновский... in Scrapy
учить пользоваться кодом чот звучит слегка как дичь
источник

МС

Михаил Синегубов... in Scrapy
Семён Трояновский
хотя на фрилансе не работал особо но выскажусь. предлагаю делать так: если заказчик вписывает в тз разработку гуи, пилишь гуи и берёшь экстра кэш за это. если нет - отдаёшь тупо данные. problem solved
ну, это ты "идеальное физическое тело" описал :)). В 99% случаев, на фрилансе закк и сам не знает чего он хочет, точнее, он не может сам сформулировать.
При совершенно равных исходных данных "Нужен парсинг", одному нужны данные, второму - сам парсер.
И, таки да, "что Вам надо, сами данные или парсер", это у меня первым пунктом практически всегда стояло :).

"пользоваться кодом" - вангую, это "пользоваться коммандной строкой" :)
источник

СТ

Семён Трояновский... in Scrapy
Михаил Синегубов
ну, это ты "идеальное физическое тело" описал :)). В 99% случаев, на фрилансе закк и сам не знает чего он хочет, точнее, он не может сам сформулировать.
При совершенно равных исходных данных "Нужен парсинг", одному нужны данные, второму - сам парсер.
И, таки да, "что Вам надо, сами данные или парсер", это у меня первым пунктом практически всегда стояло :).

"пользоваться кодом" - вангую, это "пользоваться коммандной строкой" :)
тс как будто бы отвалился так что хз чему он там учил клиентов. но если это была работа с консолью - он что не сумел крон какой нибудь настроить или чего то ещё? на фига конечному юзеру лишний гемор?
источник

АВ

Александр Владимиров... in Scrapy
Всем привет. Я новичок в python, подскажите пожалуйста что почитать или практику набрать, хочу научиться ежедневно парсить данный сайт, подскажите пожалуйста реально ли?https://www.flashscore.ru/?rd=myscore.ru
источник

AR

Andrey Rahmatullin in Scrapy
90% что реально (сайт не открывал)
источник

AR

Andrey Rahmatullin in Scrapy
(простите)
источник

МС

Михаил Синегубов... in Scrapy
нажми в браузере Ctrl+U, если все данные ты увидел - значит сможешь спарсить. Если ничего нужного не нашел, значит, скорее всего - сайт можно спарсить, но тебе будет тяжело.
А, ну и, можно в силениумы всегда кинуться :)
источник