AE
на минуточку, сетевой поток штука это односторонне направленная, по ней seek не сделаеш
Size: a a a
2021 April 21
AZ
Datamechanics работает на Azure, это от создателей Databricks, похожая модель
AZ
Мы про батч, там seek time не важен
AE
батч чего именно?
AZ
Спарк батч джоб, мапредьюс батч джоб
AE
узкий кейс
AZ
Мы для клиента выключили на половине узлов датаноды, на другой - нодменеджеры, и пайплайн не стал медленнее
PK
Кажется, что если речь не идёт про 10g или инфинибэнд, то чтение с локального ssd быстрее
AZ
ИБ, да
D
databriks есть прямо в азуре, по Datamechanics такого не видо. а мне вероятно это важно из-за юристов. я так понимаю на азур перс данные сливать можно, куда-то еще не разрешат
AZ
Локальных ССД мало, дешевле поставить везде ИБ
PK
Где иб в облаках? Да и где иб в реальности?
AZ
В онпреме ИБ был везде, у нас все продукты на нем построены
PK
Круто! А вы это кто?
AZ
В Клауде есть тоже, но там иная архитектура, transient clusters, поэтому там это не так важно для хадупов (для БД важно и используется)
AZ
Терадата
D
у меня вопрос. если hdinside начнет писать на adls (допустим hot подписка) пару сотен тб в сутки, на сколько это дешевле/дороже может оказаться с hdinside с hdfs внутри ? я все за транзакции на adsl чтение/запись волнуюсь
PK
Не знаю что это. Объяснишь?
TT
Кластера временные
AZ
Дешевле держать данные в объектном сторадже и поднимать разных размеров кластера дешевых машин для конкретных задач, ресайзить и убивать их на лету, чем держать флот дорогих машин с ИБ и держать данные на блочном сторадж и/или быстрых эфемерах