К
убил бы за try...except при определении существования файла
Это нормальный подход ask forgiveness, часто встречаю с файлами, по производительности лучше
Size: a a a
2020 January 14
МС
Это нормальный подход ask forgiveness, часто встречаю с файлами, по производительности лучше
ну, на вкус и цвет фломастеры разные :).
тут сжрет время не проверка а чтение файла и переформирование...
тут сжрет время не проверка а чтение файла и переформирование...
AR
и снова повторю про рейсы при работе с файлами, раз уж мы совсем про бест практисез
МС
и снова повторю про рейсы при работе с файлами, раз уж мы совсем про бест практисез
так посторяй, тока не на буржуйском ... 😂
а то все что я прочитал - так это "если не получается нормально проверять, то используйте рейсы"
а то все что я прочитал - так это "если не получается нормально проверять, то используйте рейсы"
AR
нууу блин, тут у всех разный уровень
AR
Что с рейсами?
AR
там прям примеры про файлы как раз
AR
рейс это race condition
ЕJ
А 2 спайдера одновременно запустятся через докер или нет?
водном процессе нельзя, так же нельзя перезапустить, это из за twisted движка.
—-
можно в 2х разных процессах,
можно scrapy-d (по идее должен быть уже готовй докер образ)
* но если надо что то кастомизировать в этой связки - селери прикрутить то все плохо с scrapy
—-
можно в 2х разных процессах,
можно scrapy-d (по идее должен быть уже готовй докер образ)
* но если надо что то кастомизировать в этой связки - селери прикрутить то все плохо с scrapy
МС
ну, или скриптом
https://docs.scrapy.org/en/latest/topics/practices.html#running-multiple-spiders-in-the-same-process
если такое решение возможно...
https://docs.scrapy.org/en/latest/topics/practices.html#running-multiple-spiders-in-the-same-process
если такое решение возможно...
AR
я думал речь про два контейнера
AR
конечно. платные.
МС
А прокси нормальные вообще существуют в интернете? Даже на hidemyname только 1 из 10 https/socks5 работает
ага, и из них, один из 100 на самом деле анонимный 😂
из "дешманских" по цене fineproxy.org, они заспамлены конечно, но под не ходовые сайты норм идут
proxy6.net - тут "вкусно" то, что мин срок 3 дня
proxys.io - дорогие, но качественные. Хотя, последний раз под инсту ipv6 у них были "не торт"
это сугубо из того, что я сам пользовал/пользую
из "дешманских" по цене fineproxy.org, они заспамлены конечно, но под не ходовые сайты норм идут
proxy6.net - тут "вкусно" то, что мин срок 3 дня
proxys.io - дорогие, но качественные. Хотя, последний раз под инсту ipv6 у них были "не торт"
это сугубо из того, что я сам пользовал/пользую
iz
proxy.house - дешево
proxymania.ru - подороже
airsocks.in - моб дешево (ротация)
luminati.io - подороже 😄
proxymania.ru - подороже
airsocks.in - моб дешево (ротация)
luminati.io - подороже 😄
AR
ну уж crawlera тогда
iz
ну уж crawlera тогда
ну там лимиты на кол-во запросов именно , тут же их нет
МС
ну уж crawlera тогда
ага, но кусуууучие они