АЖ
Size: a a a
2020 October 30
EL
Андей, ты же S3 со Спарком дружил же? У вас такой-же конфиг... Помоги брату по оружию )
АЖ
дык я свой показывал как раз
АЖ
у меня в минио и многобакетные конфиги завелись без какой-то магии
АЖ
и даже всякие мультиэндпоинты
AP
короче получилось только так:
ща прочекаю что там с версиями тоже отпишусь
sc.hadoopConfiguration.set("fs.s3a.endpoint", "
sc.hadoopConfiguration.set("fs.s3a.access.key",
sc.hadoopConfiguration.set("fs.s3a.secret.key",ща прочекаю что там с версиями тоже отпишусь
вот именно эти параметры надо было выставить. То, что Андрей предлагал не прокатило. Не спрашивай почему так.
AZ
Коллеги на каком ЯП вы продуктивизируете ваши МЛ модели?
Модели на том на котором написаны, а вот пайплайны для фич на том что доступно, SQL или jvm языки поверх спарка
LS
Модели на том на котором написаны, а вот пайплайны для фич на том что доступно, SQL или jvm языки поверх спарка
То есть python в основном ?
AZ
То есть python в основном ?
Ну если у клиента все на R - то R; у нас Фреймворк агностичен по отношению к языкам
LS
Ну если у клиента все на R - то R; у нас Фреймворк агностичен по отношению к языкам
А на чем он?
AZ
А на чем он?
Оркестрации и метаданные просто спрингбутовый сервис, а для каждого языка свой биндинг который общается с фреймворком через рест и переменные окружения
AZ
А, ну и код в гите лежит, Фреймворк просто следит за гитом
LS
Оркестрации и метаданные просто спрингбутовый сервис, а для каждого языка свой биндинг который общается с фреймворком через рест и переменные окружения
А есть где нибудь описание вашего подхода ?
AZ
А есть где нибудь описание вашего подхода ?
Про методологию я рассказывал на прошлом хайлоаде, а если ваша компания клиент Терадаты - спросите свой контакт про AnalyticOps
AP
народ, а кого нить выгнало из чатика по гринпламу?
AP
пришел пуш, открыл его - тут же написали типа частная группа иди отсудова и закрылось все
DT
Да, нет вроде все работает
AP
