Size: a a a

2021 March 26

VS

Vladislav 👻 Shishkov... in Data Engineers
все не так, умные разрабы решили выделить каждый метод в отдельный, кроме ldap и файла, тем самым, нельзя использовать одновременно их
источник

AZ

Anton Zadorozhniy in Data Engineers
можно поднять другой кластер престо для сервисных задач (где без LDAP)
источник

В

Вячеслав in Data Engineers
Ну у нас конечно, не совсем такие сервисы в работе, но все сервисные юзеры для всех систем заводятся прямо в AD.
источник

A

Alex in Data Engineers
Anton Zadorozhniy
когда я занимался таким - обычно через керберос, там все как обычно - для каждого сервисного пользователя заводим SPN, генерим keytab, кладем его под конфигурационное управление и сопровождаем дальше по жизненному циклу

представляю что для LDAP тоже самое, только с паролем
к вопросу о керберосе:
для некоторых проверок ходил в керберос через apache kerby
но появилось вагон потоков подвисших которые ожидают udp пакета с ответом от kdc

как вообще с этим бороться можно?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
к вопросу о керберосе:
для некоторых проверок ходил в керберос через apache kerby
но появилось вагон потоков подвисших которые ожидают udp пакета с ответом от kdc

как вообще с этим бороться можно?
thread dump, profiler, такое
источник

AZ

Anton Zadorozhniy in Data Engineers
реализации KDC отличаются же, может быть ваш KDC и не считают нужным отвечать
источник

A

Alex in Data Engineers
в том то и дело, что в 99% всё ок проходит
а 1% может подвиснуть
источник

A

Alex in Data Engineers
как раз в треддампе и заметил эти висяки
источник

AZ

Anton Zadorozhniy in Data Engineers
и потом UDP, тоже такое... udp_preference_limit = 1 и будет счастье)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Вячеслав
Ну у нас конечно, не совсем такие сервисы в работе, но все сервисные юзеры для всех систем заводятся прямо в AD.
Ну вот да, но с этим у нас проблемы... Поэтому ищу альтернативы
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Anton Zadorozhniy
можно поднять другой кластер престо для сервисных задач (где без LDAP)
Интересный вариант, подумаю над этим
источник

A

Alex in Data Engineers
Anton Zadorozhniy
и потом UDP, тоже такое... udp_preference_limit = 1 и будет счастье)
ок, уже подумывал сходить к инфре по поводу tcp, включен или нет у нас
источник

AS

Andrey Smirnov in Data Engineers
Alex
в том то и дело, что в 99% всё ок проходит
а 1% может подвиснуть
у нас раз была ситуация когда не хватало энтропии для генерации случайного числа :)
источник

M

Mi in Data Engineers
Есть тут знатоки Kubeflow on-premise? Пару вопросов задать нужно
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
ок, уже подумывал сходить к инфре по поводу tcp, включен или нет у нас
Он всегда включён, в керберосе UDP это оптимизация которая используется для маленьких пейлоадов
источник

AZ

Anton Zadorozhniy in Data Engineers
(Клиент сам решает)
источник

A

Alex in Data Engineers
спасибо
источник

P

Pavel in Data Engineers
Вопрос вдруг неожиданно) если компрессию на брокерах кафки включить, ничего ж не поломается?) На брокерах данных около 2тб
источник

AZ

Anton Zadorozhniy in Data Engineers
Смотря какая кафка, что и как включить; варианты от «ничего» до «начнёт тормозить на запись»
источник
2021 March 27

P

Pavel in Data Engineers
Anton Zadorozhniy
Смотря какая кафка, что и как включить; варианты от «ничего» до «начнёт тормозить на запись»
0.1xxx че-то там, не помню
Тормозить запись пофиг, это ж на какой-то временной период только
источник