Y
Добрый день, коллеги! Кто-нибудь в курсе почему спарк конектится к кафке не по заданной консьмер групп в настройках а по динамически сгенерированной spark-kafka-source-*. Это баг версии 2.2.0 или фича спарка?
Size: a a a
2020 October 07
EL
@sunKazakh сейчас его прохожу, параллельно в тинькове на курсе, вроде актуально всё
R
@sunKazakh сейчас его прохожу, параллельно в тинькове на курсе, вроде актуально всё
Спасибо!
K
Yurgen
Добрый день, коллеги! Кто-нибудь в курсе почему спарк конектится к кафке не по заданной консьмер групп в настройках а по динамически сгенерированной spark-kafka-source-*. Это баг версии 2.2.0 или фича спарка?
Это фича
Y
А в кафке можно настроить доступ к goupid по wildcard park-kafka-source-*?
P
Используем RocksDB как движок хранения состояний для флинка, всё по мануалам вроде сделано. Упорно не хочет сохранять чекпойнт на S3 если есть обновление стейта (`state.update(...)`)
Сталкивался кто?
Сталкивался кто?
OA
2020 October 08
I
может тут есть боги римоут интепретенга
I
Переслано от Ilya
не, я возился, но все таки следующее не понял как сделать:
у меня через римот интепретер процесс умирает примерно на том же(если на сервере напрямую скрипт прогоняю, все норм) месте обработки посредством kill,
пишет ошибка 137, что связанно обычно с памятью. к тому же проверил torch.cuda.is_available, говорит что нет.
попытался как писали офф. лица из джетбрейна настроить дистрибьтед ран как на картинке, но походу это не то (хз правильно ли сделал, было похоже что да, но процесс все равно умер примерно там же с тем же килом).
Как прогонять через римот интерпритатор с ресурсами, например парой cpu и gpu (как с srun)?
Вот с этим я не разобрался.
у меня через римот интепретер процесс умирает примерно на том же(если на сервере напрямую скрипт прогоняю, все норм) месте обработки посредством kill,
пишет ошибка 137, что связанно обычно с памятью. к тому же проверил torch.cuda.is_available, говорит что нет.
попытался как писали офф. лица из джетбрейна настроить дистрибьтед ран как на картинке, но походу это не то (хз правильно ли сделал, было похоже что да, но процесс все равно умер примерно там же с тем же килом).
Как прогонять через римот интерпритатор с ресурсами, например парой cpu и gpu (как с srun)?
Вот с этим я не разобрался.
I
Переслано от Ilya
не, я возился, но все таки следующее не понял как сделать:
у меня через римот интепретер процесс умирает примерно на том же(если на сервере напрямую скрипт прогоняю, все норм) месте обработки посредством kill,
пишет ошибка 137, что связанно обычно с памятью. к тому же проверил torch.cuda.is_available, говорит что нет.
попытался как писали офф. лица из джетбрейна настроить дистрибьтед ран как на картинке, но походу это не то (хз правильно ли сделал, было похоже что да, но процесс все равно умер примерно там же с тем же килом).
Как прогонять через римот интерпритатор с ресурсами, например парой cpu и gpu (как с srun)?
Вот с этим я не разобрался.
у меня через римот интепретер процесс умирает примерно на том же(если на сервере напрямую скрипт прогоняю, все норм) месте обработки посредством kill,
пишет ошибка 137, что связанно обычно с памятью. к тому же проверил torch.cuda.is_available, говорит что нет.
попытался как писали офф. лица из джетбрейна настроить дистрибьтед ран как на картинке, но походу это не то (хз правильно ли сделал, было похоже что да, но процесс все равно умер примерно там же с тем же килом).
Как прогонять через римот интерпритатор с ресурсами, например парой cpu и gpu (как с srun)?
Вот с этим я не разобрался.
а не, памяти одного cpu не хватает, нужны два как минимум.
Ж
Всем привет. Проблема такая- делаю докер имейдж для питоновской аппликации. Требуются джава и другие пакеты как LLVM10. Имейдж использует FROM ubuntu потому что на докерхабе python3-buster не включает нужные os пакеты. В итоге имейдж растет до 4 гига. Есть какой то способ уменьшить размер имейджа?
E
Жмака
Всем привет. Проблема такая- делаю докер имейдж для питоновской аппликации. Требуются джава и другие пакеты как LLVM10. Имейдж использует FROM ubuntu потому что на докерхабе python3-buster не включает нужные os пакеты. В итоге имейдж растет до 4 гига. Есть какой то способ уменьшить размер имейджа?
1. джава толстая
2. попробую из пайтон альпайн, а оттуда уже потом доставлять нужные ос пакеты, потому что не факт, что все то, что есть в бустере тебе нужно
2. попробую из пайтон альпайн, а оттуда уже потом доставлять нужные ос пакеты, потому что не факт, что все то, что есть в бустере тебе нужно
Ж
1. джава толстая
2. попробую из пайтон альпайн, а оттуда уже потом доставлять нужные ос пакеты, потому что не факт, что все то, что есть в бустере тебе нужно
2. попробую из пайтон альпайн, а оттуда уже потом доставлять нужные ос пакеты, потому что не факт, что все то, что есть в бустере тебе нужно
Там нет. Уже посмотрел.
E
Жмака
Там нет. Уже посмотрел.
там нет чего?
Ж
там нет чего?
Llvm 10 например в бустере.
E
Жмака
Llvm 10 например в бустере.
ну это понятно. я ж это и сказал. base - apline, а дальше что все нужно
или я тебя неверно понимаю..
sudo apt get -y installили я тебя неверно понимаю..
AZ
Жмака
Всем привет. Проблема такая- делаю докер имейдж для питоновской аппликации. Требуются джава и другие пакеты как LLVM10. Имейдж использует FROM ubuntu потому что на докерхабе python3-buster не включает нужные os пакеты. В итоге имейдж растет до 4 гига. Есть какой то способ уменьшить размер имейджа?
надо наоборот делать, брать openjdk образ и тащить туда питон, но маленьким не будет все равно
Ж
надо наоборот делать, брать openjdk образ и тащить туда питон, но маленьким не будет все равно
Насколько большим может быть? Питоновский код все равно запустит джар в контейнере
E
надо наоборот делать, брать openjdk образ и тащить туда питон, но маленьким не будет все равно
а чего наоборот, что выиграем? (не оспариваю, скорее вопрос для собственного понимания)
AZ
Жмака
Насколько большим может быть? Питоновский код все равно запустит джар в контейнере
у меня openjdk8 (511 mb сам по себе) плюс наше барахло (py3, pip jinja2 s3cmd stomp.py teradataml, containerd.io) - 2 гига