UD
Evgeny
Да, переносил, все ок
А детали можно?
Size: a a a
2020 August 17
UD
Полный шатдаун кластера, бэкап fsimage и форчиком пробежаться по корсайтам?
UD
или чет сложнее?
E
А детали можно?
Ну если тушить можно, то так, ну и я конфиги солью деплою. В целом - сначала переносил management nodes, затем датаноды
UD
Evgeny
Ну если тушить можно, то так, ну и я конфиги солью деплою. В целом - сначала переносил management nodes, затем датаноды
Переливать данные просто не вариант, по сети это несколько месяцев займет
UD
Только пока вижу вариант согласовать даунтайм на час и поправить все
E
зачем данные переливать?
UD
Evgeny
зачем данные переливать?
>переносил
UD
я криво распарсил значит
E
ну, у меня был опыт и переноса в другую зону с другими адресами и переливка management nodes с изменением зоны и адресов
UD
ок, соберу пока лабу
E
из того, что замечал: при изменении hostname history/timeline server старые джобы пытаются открыться по старому адресу. И надо hive рестартить, чтобы он все корректно подцеплял новый адрес rm
E
ну и да, надо быть внимательным с топологией, чтобы она не поменялась
U
Господа - а правила канала - только то что в закрепе?
AS
Жмака
Всем привет. Новичок в скале 😇Не могу победить сериализацию. Создал тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
я не совсем понял, что ты делаешь, но обычно создание спарка выделяют в отдельный трайт
SparkContextSetup и там его запускают.
можно вообще через var поле в классе :)
SparkContextSetup и там его запускают.
можно вообще через var поле в классе :)
Ж
я не совсем понял, что ты делаешь, но обычно создание спарка выделяют в отдельный трайт
SparkContextSetup и там его запускают.
можно вообще через var поле в классе :)
SparkContextSetup и там его запускают.
можно вообще через var поле в классе :)
Спасибо. Но как этот трейт работает с другими трейтами, например Logger? Extends + with на обьект аппликации с мейном?
AS
Жмака
Спасибо. Но как этот трейт работает с другими трейтами, например Logger? Extends + with на обьект аппликации с мейном?
да, делаешь трейт который реализует BeforeAfterAll и там делаешь запуск остановку
R
да, делаешь трейт который реализует BeforeAfterAll и там делаешь запуск остановку
Ж
да, делаешь трейт который реализует BeforeAfterAll и там делаешь запуск остановку
Спасибо
Ж
Спасибо