ME
если совсем плохо, лучше к чародеям и гадалкам)
Size: a a a
2020 September 14
AL
если совсем плохо, лучше к чародеям и гадалкам)
Это хорошо сказано 😂
AL
Если тренд нестабильный и сезонность мутная, я бы в сторону нейронок смотрел.
🤔 спасибки
N
если совсем плохо, лучше к чародеям и гадалкам)
ну это и есть сатанисты
N
Граждане, поясните за лучшие практики управления конфигурациями для спарк джобов. Ну типа где их держать, чтобы не передавать в args() ?
AK
Граждане, поясните за лучшие практики управления конфигурациями для спарк джобов. Ну типа где их держать, чтобы не передавать в args() ?
как вариант, можно положить в resources. но всегда могут быть credentials, которые доступны только из среды исполнения (из хранилища секретов, из FS, куда нет доступа у разработчиков)
DZ
application.conf / yaml
N
А какой-нибудь приятный микросервис, который читает конфиг из гита и раздает страждущим никто не знает?
N
А какой-нибудь приятный микросервис, который читает конфиг из гита и раздает страждущим никто не знает?
DZ
Для стриминга хотите использовать?
K
Граждане, поясните за лучшие практики управления конфигурациями для спарк джобов. Ну типа где их держать, чтобы не передавать в args() ?
вам для чего
K
мы держим в yaml файле все в гит репозитории
K
(паролей там никаких не хранится)
N
Для стриминга хотите использовать?
для стриминга сейчас jsonnet привернули.
K
для стриминга сейчас jsonnet привернули.
и как это добро выглядит?
SS
Аналогично, ямл + конф файлы для разных енвов, авторизация через kerberos
T
А кто-нибудь сталкивался с проблемой когда надо писать в места одновременно в hdfs и s3, на пример? Можно ли это как то легко реализовать без cache/persist ?
DZ
А чем persist плох?
N
вам для чего
Ну как, у джоба есть какие-то параметры-путь в hdfs, креды в базу, url зукиперов и т.п. Их надо как-то передавать. Стендов/окружений всяких до жопы. Вот и хочется какое-то красивое решение, чтобы это не расползалось по ямлам и args-ам
DZ
Ну как, у джоба есть какие-то параметры-путь в hdfs, креды в базу, url зукиперов и т.п. Их надо как-то передавать. Стендов/окружений всяких до жопы. Вот и хочется какое-то красивое решение, чтобы это не расползалось по ямлам и args-ам
Эм эээ