Size: a a a

2021 April 21

AZ

Anton Zadorozhniy in Data Engineers
Оверкоммит делали, да, но с ним больно
источник

AZ

Anton Zadorozhniy in Data Engineers
Не помню
источник

AZ

Anton Zadorozhniy in Data Engineers
1.2 ПБ данных было, когда я уходил
источник

ЕГ

Евгений Глотов... in Data Engineers
Ноды мелкие)
источник

AZ

Anton Zadorozhniy in Data Engineers
Да, когда было
источник

K

KrivdaTheTriewe in Data Engineers
Так может там 2.5 ПБ на 700 узлах
источник

K

KrivdaTheTriewe in Data Engineers
Чот совсем ноды мелкие
источник

GP

Grigory Pomadchin in Data Engineers
помнится у меня был случай с 350 нодами r6.16xlarge; оперативки было ток на 20тб; я даж не знал что такие есть
источник

UR

Uncle Ruckus in Data Engineers
Мдас... Изи мани (R)
источник

ME

Max Efremov in Data Engineers
источник

ME

Max Efremov in Data Engineers
Вспомнилось почему-то)
источник

GP

Grigory Pomadchin in Data Engineers
да, действительно
источник

ME

Max Efremov in Data Engineers
А у нас размер кластера под NDA на проекте 😁
источник

ME

Max Efremov in Data Engineers
Правда, туда и доступа не так много(
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну мы и не наливали под завязку, но закупались ноды в 12 или 13 году, диски поменьше были
источник

AZ

Anton Zadorozhniy in Data Engineers
Секрет успеха любого он-премного хозяйства - оверсайзинг вдвое или втрое (от того что вам кажется разумным), тогда и резать кластера будет проще, и апгрейдить,  можно даже блю-грин деплоймент сделать, для тех кому хочется странного
источник

NN

No Name in Data Engineers
Слушай, нубский вопрос, но как получается, что ярн у нас стабильно перегрет, а железо загружено на 60-70?
Это какая-то универсальная проблема, как я понял?
источник
2021 April 22

AZ

Anton Zadorozhniy in Data Engineers
Две причины: ярн считает показатели не от фактически используемых, а от того сколько попросило приложение - если приложение сказало 100 ядер и 1ТБ памяти, а внутри while(true) {wait(1000)} - ярн все равно покажет что ядра и 1ТБ памяти занят
источник

ПБ

Повелитель Бури... in Data Engineers
Коллеги, что щас из модного по архитектуре почитать можно? Появилось новое помимо лямба и каппа?
источник

ПБ

Повелитель Бури... in Data Engineers
источник