Size: a a a

2020 August 19

СХ

Старый Хрыч... in Data Engineers
Anton Kovalenko
Сейчас уже более-менее все устаканилось и вышло на рабочие рельсы. Мы (Аренадата) теперь тоже к этому подключились. Он уже используется в нескольких крупных госпроектах, так что развивать его будут при любых раскладах.
😐как я ваши продукты в госе ненавидел....
источник

СХ

Старый Хрыч... in Data Engineers
внедрили, бросили, а ты приходишь потом и офигеваешь
источник

СХ

Старый Хрыч... in Data Engineers
особенно меня убил хадуп на 10 тб дисках под аналитику, который вы заказчику продали как нормальный вариант
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
особенно меня убил хадуп на 10 тб дисках под аналитику, который вы заказчику продали как нормальный вариант
Но ты пришёл и поставил всем сциллу? :)
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
Но ты пришёл и поставил всем сциллу? :)
нет, я пришёл и начал искать диски меньшего размера перетасовывая между серверами чтобы кол-во iops увеличить
источник

СХ

Старый Хрыч... in Data Engineers
приделал bcache
источник

UD

Uncel Duk in Data Engineers
Старый Хрыч
особенно меня убил хадуп на 10 тб дисках под аналитику, который вы заказчику продали как нормальный вариант
а чо
источник

UD

Uncel Duk in Data Engineers
скок дисков на коробку?
источник

СХ

Старый Хрыч... in Data Engineers
Uncel Duk
а чо
🤣ну да, аналитика со 1600 iops на всё
источник

СХ

Старый Хрыч... in Data Engineers
Uncel Duk
скок дисков на коробку?
10
источник

UD

Uncel Duk in Data Engineers
коробок?
источник

СХ

Старый Хрыч... in Data Engineers
Uncel Duk
коробок?
6
источник

UD

Uncel Duk in Data Engineers
если там в основном линейное чтение, пойдет
источник

СХ

Старый Хрыч... in Data Engineers
Uncel Duk
если там в основном линейное чтение, пойдет
если бы, там olap
источник

A

Anton Kovalenko in Data Engineers
Старый Хрыч
особенно меня убил хадуп на 10 тб дисках под аналитику, который вы заказчику продали как нормальный вариант
Не факт, что заказчик мог внятно объяснить что именно и зачем ему было нужно. Такое сплошь и рядом было. 🤷‍♂
Приходят и говорят - "дайте на Хадуп на 100 ТБ. Хотим." А для чего - просто HDFS для хранения или для расчетов, ответить не могут. Вот и делают им некий усредненный сайзинг и чтобы узлов много не получалось, диски покрупнее. Могли бы задачи четко формулировать, не было бы таких кейсов )
источник

СХ

Старый Хрыч... in Data Engineers
Anton Kovalenko
Не факт, что заказчик мог внятно объяснить что именно и зачем ему было нужно. Такое сплошь и рядом было. 🤷‍♂
Приходят и говорят - "дайте на Хадуп на 100 ТБ. Хотим." А для чего - просто HDFS для хранения или для расчетов, ответить не могут. Вот и делают им некий усредненный сайзинг и чтобы узлов много не получалось, диски покрупнее. Могли бы задачи четко формулировать, не было бы таких кейсов )
😐заказчик чётко говорил "OLAP"
источник

UD

Uncel Duk in Data Engineers
Старый Хрыч
если бы, там olap
ну так олап это и есть линейное чтение
источник

UD

Uncel Duk in Data Engineers
если нихрена не понятно, могли и кликхаусом обойтись
источник

СХ

Старый Хрыч... in Data Engineers
Uncel Duk
если нихрена не понятно, могли и кликхаусом обойтись
не могли, там и картинки в виде текста(забыл хрень какой это делают), и данные разные и текст
источник

A

Anton Kovalenko in Data Engineers
Старый Хрыч
😐заказчик чётко говорил "OLAP"
Ну я со свечкой  не, стоял ) Под OLAP вообще Greenplum по идее ставить надо было
источник