Size: a a a

2021 April 01

M

Michael in Data Engineers
Если запускать по отдельности start-master и start-worker spark...
То запуск проходит корректно.
источник

M

Michael in Data Engineers
Если же запускать с помощью start-all, то мастер запускается, а по worker ошибка:
localhost: ssh: connect to host localhost port 22: Connection refused
источник

M

Michael in Data Engineers
По одной из ссылок была рекомендация:
You need to enable "Remote Login" for your machine. From System Preferences, select Sharing, and then turn on Remote Login.
источник
2021 April 02

SS

Sergey Sheremeta in Data Engineers
дяденьки, здравствуйте!
кто-либо использует hbase-kafka-proxy (для даунстрима изменений hbase в dwh/datalake) в продакшне?
источник

N

Nikita Blagodarnyy in Data Engineers
Sergey Sheremeta
дяденьки, здравствуйте!
кто-либо использует hbase-kafka-proxy (для даунстрима изменений hbase в dwh/datalake) в продакшне?
Да, мы используем. Но не массово.
источник

SS

Sergey Sheremeta in Data Engineers
Nikita Blagodarnyy
Да, мы используем. Но не массово.
и как оно вам? стоит использовать?
источник

N

Nikita Blagodarnyy in Data Engineers
Sergey Sheremeta
и как оно вам? стоит использовать?
В целом норм. Но непонятно, как целостность/полноту контролировать.
источник

SS

Sergey Sheremeta in Data Engineers
а как вы мониторите сам JVM-процесс hbase-kafka-proxy? что он успевает прожевать и не теряет по дороге события репликации
источник

N

Nikita Blagodarnyy in Data Engineers
Sergey Sheremeta
а как вы мониторите сам JVM-процесс hbase-kafka-proxy? что он успевает прожевать и не теряет по дороге события репликации
Стандартно, хип юзадж/гц стат
источник

SS

Sergey Sheremeta in Data Engineers
Nikita Blagodarnyy
Стандартно, хип юзадж/гц стат
спасибо! то есть рекомендуете? можно использовать в продакшне?
источник

N

Nikita Blagodarnyy in Data Engineers
Sergey Sheremeta
спасибо! то есть рекомендуете? можно использовать в продакшне?
ну уж нет, рекомендовать не возьмусь. пусть лучше ваш технологический архитектор решит.
источник

ЕГ

Евгений Глотов... in Data Engineers
Nikita Blagodarnyy
Суд по астралинуксу у вас небось и сетевая безопасность не баран начхал
Или наоборот
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

A

Alex in Data Engineers
вот так всегда, никто не хочет брать на себя ответственность
источник

SS

Sergey Sheremeta in Data Engineers
Nikita Blagodarnyy
ну уж нет, рекомендовать не возьмусь. пусть лучше ваш технологический архитектор решит.
но он тот еще тормоз ((
попробую его ускорить
источник

N

Nikita Blagodarnyy in Data Engineers
Alex
вот так всегда, никто не хочет брать на себя ответственность
на то и нужны седые красноглазые архитекторы по 500к/сек, в 3 часа ночи чинящие свое решение.
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
вот так всегда, никто не хочет брать на себя ответственность
... бесплатно
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
на то и нужны седые красноглазые архитекторы по 500к/сек, в 3 часа ночи чинящие свое решение.
первые кандидаты на увольнение, раз так провалили эксплуатацию
источник

ME

Max Efremov in Data Engineers
Nikita Blagodarnyy
на то и нужны седые красноглазые архитекторы по 500к/сек, в 3 часа ночи чинящие свое решение.
Архитекторы же обычно не кодят, а только в визио программируют
источник

AZ

Anton Zadorozhniy in Data Engineers
Max Efremov
Архитекторы же обычно не кодят, а только в визио программируют
Такие остались только в заповедниках, не стоит равняться на таких
источник