AZ
вот похожий баг, еще не смерджен даж https://github.com/kubernetes/kubernetes/pull/97101
Size: a a a
2021 April 22
AZ
но вообще у меня в аналитикопсе есть отдельный джоб, который ходит смотреть на остальные, он делает клинап, телеметрию дополнительную собирает, может алерт поднять, мб он убивает джобы которые превысили дедлайн, надо глянуть в код
P
вот это у нас в бэклоге. похоже, придется приоритет повысить)
AZ
могу только сказать что если вы прям очень много джобов хотите запускать, и кластеров много, то лучше внешний инструмент использовать, а не эту поделку в кубере... например вот https://github.com/G-Research/armada/
P
джобов поднимается относительно не много, но относительно часто, каждую минуту от 10 до 30
P
кластер один всего
P
ETL наш запускает джобы
ME
Оказалось, что вот такая команда доходит до скрипта в урезанном виде, все двойные скобочки удаляются... Т.е.
}}} на конце превращается в } и убивает json...AZ
а, ну тогда наверное с родными проще, армада хороша если надо по очередям делить, и их очень много (тысячи-миллионы)
P
типа того, оверкил будет
AZ
я делал дему где мы автоматически переобучали 50+ тыс моделей (в кубере, а не в базе), было прикольно)
e
Преподаешь ?
GP
нет, не моя таймзона)
разъяснил слегка пост)
разъяснил слегка пост)
K
Расскажите
AZ
Не могу пока
2021 April 23
T
Привет чат, а какая альтернатива для spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation в 3 спарке для saveAsTable . Самому фаилы потереть перед записью? mode overwrite не помогает.
ЕГ
А чё, так можно было?
Сталкивался несколько раз с проблемой, что если спарк начал записывать табличку, а потом вырубили, то второй раз уже не запишется, так как таблицы нет, а путь забит
Сталкивался несколько раз с проблемой, что если спарк начал записывать табличку, а потом вырубили, то второй раз уже не запишется, так как таблицы нет, а путь забит
ЕГ
Удалять руками конечно помогает, а чем плох параметр?
T
Тем что его выпили из 3 спарка