t
вон оно как
Size: a a a
2021 April 29
GP
Рибята а кто-то пробовал https://argoproj.github.io/argo-events/#:~:text=Argo%20Events%20is%20an%20event,%2C%20sns%2C%20sqs%2C%20etc ?
GP
ну это ask
GP
интересно что там на стороне ресипиента
GP
а ты у ярна просишь? интересно как у кубера такая штука работать будет
t
ага, ярн
K
Привет! Подскажите, пожалуйста, самый быстрый способ поставить cdh 6.3.2 с hadoop 3.0.0 ? Может где-то есть докер образ? Нужно быстро протестировать кое-что на данной версии
2021 April 30
D
на сколько знаю в природе не существует. у клоудеры последняя sendbox виртуалка/докер была для 5.x ветки, для 6.x не выпускали. разве что кто-то левый собрал ...
РД
Привет, кто нибудь сталкивался с подобной ситуацией:
Поднимаешь спарк сессию с динамик аллокейшн, ограничивая аппетиты -все ок, сессия отжирает положенное в конфиге, но если в этой же спрак сессии подключаешься через jdbc к ораклу, чтоб прочитать таблицу, то в этот момент сессия отжирает абсолютно все свободные ресурсы на кластере, игнорируя конфиг
Почему так может быть?
Поднимаешь спарк сессию с динамик аллокейшн, ограничивая аппетиты -все ок, сессия отжирает положенное в конфиге, но если в этой же спрак сессии подключаешься через jdbc к ораклу, чтоб прочитать таблицу, то в этот момент сессия отжирает абсолютно все свободные ресурсы на кластере, игнорируя конфиг
Почему так может быть?
AZ
Кому интересно - Feast выпустил новый релиз (в рамках которого повернул в сторону) https://feast.dev/blog/feast-0-10-announcement/
e
виртуалка с 5ой клаудерой от учебного курса на курсере
https://s3.amazonaws.com/trainingvms/Cloudera-Training-Coursera-VM-cdh5.13.3c-virtualbox.zip
login |pass
training
https://s3.amazonaws.com/trainingvms/Cloudera-Training-Coursera-VM-cdh5.13.3c-virtualbox.zip
login |pass
training
D
это пятая клоудера с 2.х хадупом. нужна вроде шестая и с 3 хадупом
NN
В сторону чего?)
AZ
От изначальной концепции))
DM
помнится что они как и не планировали transform компонент добавлять, так и не планируют)
DM
ну оно и понятно, это самый трудный компонент из всех существующих, второй по сложности наверное core который с метаинфой работает
AZ
От end-to-end перешли к all infra optional
DM
может быть это и правильно такую гибкость поддерживать в их случае, но вот в тектоне есть компонент который отвечает за трансофрмацию, на сколько я помню он только в декларативном стиле, указываешь прям когда регаешь метаинфу, мне понравился такой подход, пишешь просто sql и вешаешь декоратор питоновский и готово, только вот насколько удобно шедулить в таком случае пока вопрос
DM
когда разбирал проекты фиста, только core понравился, особенно как они используют idl и grpc, генерят стабы, а над стабом покрыли удобным питоновским клиентом. Больше ничего не понравилось))
AZ
Но вообще я двумя руками за, это валидирует мою продуктовую концепцию, мне за этот релиз Feast могут бюджет открыть)