B
Надо наверное попробовать по подключаться к прокси и пингануть.
Size: a a a
2021 January 16
IK
Смотрел в crawly?
LL
Вообщем тут не в пуле дело. У меня каждый запрос идет в отдельном процессе через Broadway, там concurency стоит и rate limit, пул по сути нафиг не нужен получается. Я сейчас прикрутил на всякий случай от Finch пул нифига не поменялось.
Если прокси запускаю из операционки и запускаю кравлера то получается где-то 10-14 кравлов в секунду, при желании можно и больше выжать. Но соответственно он айпишник не меняет под каждый запрос.
Но когда ставлю коннект к прокси через какой-нибудь там Эликсировский клиент то выживаемся 1 кравл в секунду в лучшем случае. Вот хз почему так режится.
Если прокси запускаю из операционки и запускаю кравлера то получается где-то 10-14 кравлов в секунду, при желании можно и больше выжать. Но соответственно он айпишник не меняет под каждый запрос.
Но когда ставлю коннект к прокси через какой-нибудь там Эликсировский клиент то выживаемся 1 кравл в секунду в лучшем случае. Вот хз почему так режится.
Если хочешь чтобы IP менялся, можно на уровне системы это устроить
B
Смотрел в crawly?
Да я еще давно ставил, потом свой написал.
B
Проблема не в кравлере а в proxy, буду провайдера доставать, какая-то лажа у них. Я где-то пол года не кравлил, и скорость как-то явно упала за эти пол года, наверное прокси их замызгали :)
B
Если хочешь чтобы IP менялся, можно на уровне системы это устроить
Я вчера попробовал direct connection к single IP сделать по http, явно лагает, видимо они шарятся на слишком много людей.
W
Добрый день ребята! Подскажите, вот я пишу на node.js и go. Помимо расширения кругозора, в каких задача мне может elixir облегчить жизнь
ML
Добрый день ребята! Подскажите, вот я пишу на node.js и go. Помимо расширения кругозора, в каких задача мне может elixir облегчить жизнь
Когда надо написать код, поддерживающий много подключенных клиентов, а потом отладить его на продакшне.
Вот с последним beam вне конкуренции
Вот с последним beam вне конкуренции
VS
Возьмите любой готовый учебный пример на phoenix,
запустите в iex,
запустите observer
Натравите тестер REST
интерфейсов на свой сервис,
посмотрите в observer на
предлагаемый вам способ построения систем и возможности интроспекции.
Сравните с имеющимися в арсенале, решите.
запустите в iex,
запустите observer
:observer.startНатравите тестер REST
интерфейсов на свой сервис,
посмотрите в observer на
предлагаемый вам способ построения систем и возможности интроспекции.
Сравните с имеющимися в арсенале, решите.
W
Когда надо написать код, поддерживающий много подключенных клиентов, а потом отладить его на продакшне.
Вот с последним beam вне конкуренции
Вот с последним beam вне конкуренции
То есть, имеет смысл выучить эликсир и сделать микросервис для фичи с очень большим количеством постоянных подключений, к примеру стриминг видео или еще что-то, верно?
ML
То есть, имеет смысл выучить эликсир и сделать микросервис для фичи с очень большим количеством постоянных подключений, к примеру стриминг видео или еще что-то, верно?
Его имеет смысл использовать и в других местах, но эти нагляднее всего покажут плюсы
W
Его имеет смысл использовать и в других местах, но эти нагляднее всего покажут плюсы
Хм, если я занимаюсь backend, то вы бы рекомендовали мне ознакомиться с этим языком?
PR
Добрый день ребята! Подскажите, вот я пишу на node.js и go. Помимо расширения кругозора, в каких задача мне может elixir облегчить жизнь
Если не говорить о каких-то технических преимуществах, то по сравнению с нодой тупо приятнее писать. Меньше негативных эмоций, больше ясности как нужно делать то или иное решение, проще отладка, меньше геморроя с выбором либ, эликсир сам по себе намного проще, логичнее и стройнее js
W
Если не говорить о каких-то технических преимуществах, то по сравнению с нодой тупо приятнее писать. Меньше негативных эмоций, больше ясности как нужно делать то или иное решение, проще отладка, меньше геморроя с выбором либ, эликсир сам по себе намного проще, логичнее и стройнее js
Спасибо за ответ!
W
Я просто заинтересовался именно из-за подхода к изолированным процессам. И большому количеству подключений
PR
Я просто заинтересовался именно из-за подхода к изолированным процессам. И большому количеству подключений
Тогда рекомендую сначала учить OTP а не феникс. Будет очень полезно в плане развития кругозора
SK
Добрый день ребята! Подскажите, вот я пишу на node.js и go. Помимо расширения кругозора, в каких задача мне может elixir облегчить жизнь
Помимо всех остальных достоинств Elixir нужно ещё отметить, что Elixir хорошо подходит для тех проектов, которые нуждаются в долгосрочном поддерживании и обслуживании.
SK
Тогда рекомендую сначала учить OTP а не феникс. Будет очень полезно в плане развития кругозора
У феникса тоже много преимуществ, может и с феникса начать, а то возможно ОТР сразу не зайдёт.
LL
По-моему, в фениксе ничего особенного нет (кроме
LiveView). Да, он немного удобнее чем другие фреймворки, но это всё тот же MVC. Всё-таки сила elixir в OTP