SK
70 ТБ? это не так много
Для меня не опытного в hadoop и это уххх..
Size: a a a
2020 December 15
SK
360*70*N ? )
Не в обще
AZ
просто кластер у вас очень маленький, мб сайзинг не корректно сделан, но на 48 гб оперативной памяти не очень-то развернешься
SK
Никто не пишет надо ли hadoop перезапускать после изменения в его .xml
SK
просто кластер у вас очень маленький, мб сайзинг не корректно сделан, но на 48 гб оперативной памяти не очень-то развернешься
А ставили по дилетантски, давно просто. Вот пытаюсь разобраться улучшить. Ambari уже не советуют ставить..
SK
Типа проблемно, когда кластер уже есть.
N
а сколько там вообще памяти/цпу на воркер-узлах?
N
и болтается ли там что-то кроме ярна?
N
ну вряд ли же кластер на персоналках собран
N
судя по тому, что вы присылаете фото монитора, а не скриншоты, это еще и госучастием попахивает с его сесуриту.
AS
Всем привет! Ни кто не в курсе, glusterfs с 3 Hadoop дружит, а то в либах, в последних коммитах только 2-й hadoop?
e
Допустим DS приносит свою новую модель с нейронкой, что вы обычно делаете, что бы поставить этот алгоритм на рельсы БигДаты ? (Концептуально 😁)
AZ
Допустим DS приносит свою новую модель с нейронкой, что вы обычно делаете, что бы поставить этот алгоритм на рельсы БигДаты ? (Концептуально 😁)
а он/она принесли код или артефакт сразу?
NN
а он/она принесли код или артефакт сразу?
На флешке, наверное
AZ
шаги зависят от того что принесли, и как модель сервить надо
NN
шаги зависят от того что принесли, и как модель сервить надо
И вообще, зачем принесли то? В прод надо, или что?)
AZ
И вообще, зачем принесли то? В прод надо, или что?)
да кстати, если принесли артефакт то могли бы и отскорить там где учили, и принесли бы сразу витрину скоров)
2020 December 16
MK
Переслано от Mikhail Kumachev
Друзья!
В преддверии Нового Года мы проведем праздничный митап DE or DIE #5.
Дата и время: 24 декабря 18:00–20:30
Формат: Онлайн
В нашей программе:
1. Дмитрий Шалин, Data Engineer, СБЕР — расскажет про построение Data Lake в сжатые сроки в условиях стартапа.
2. Андрей Титов, Senior Spark Engineer, NVIDIA — особенности использования Scala UDF в PySpark.
Зарегистрироваться можно по ссылке: https://deordie.timepad.ru/event/1508656/
Всех с Наступающим Новым Годом! Ждем вас на митапе!
В преддверии Нового Года мы проведем праздничный митап DE or DIE #5.
Дата и время: 24 декабря 18:00–20:30
Формат: Онлайн
В нашей программе:
1. Дмитрий Шалин, Data Engineer, СБЕР — расскажет про построение Data Lake в сжатые сроки в условиях стартапа.
2. Андрей Титов, Senior Spark Engineer, NVIDIA — особенности использования Scala UDF в PySpark.
Зарегистрироваться можно по ссылке: https://deordie.timepad.ru/event/1508656/
Всех с Наступающим Новым Годом! Ждем вас на митапе!
СВ
Участвуй, мне вывели 40$! bit.ly/3oWbNPH
AT
за $40 дата инженер даже не пукнет (пардон май френч) не то чтоб ссылку тыкнуть