Size: a a a

2021 September 16

DT

Dmitry Titov in Data Engineers
Но их выпилили потом.
источник

AZ

Anton Zadorozhniy in Data Engineers
кмк Кликхаусу надо в сторону архитектуры intelligent storage смотреть, чем давать рынок нвидии
источник

GP

Grigory Pomadchin in Data Engineers
а почему?
источник

DT

Dmitry Titov in Data Engineers
Насколько я помню, там так вышло что nvidia была очень неторопливой в взаимодействии из за своей бюрократии внутренней.

а по поводу storage,
yandex.cloud команда и мы потихоньку допиливаем s3 диск до ожидаемой производительности :)

Вот в планах есть cache для data файлов есть.
источник

DT

Dmitry Titov in Data Engineers
Only one algorithm was implemented as a prototype and it was not profitable and was unused.
источник

GP

Grigory Pomadchin in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
Эт все хорошо, но я имел в виду двухуровневую архитектуру а-ля экзадата/нетизза
источник

AZ

Anton Zadorozhniy in Data Engineers
Это история О-большого всех экспериментов с data management on gpu что я рассматривал
источник

DT

Dmitry Titov in Data Engineers
Хм,
А что тогда имеется ввиду?
автоматический тюнинг параметров?
источник

RI

Rustam Iksanov in Data Engineers
Народ, а кто-то пробовал запускать в кубере спарк(запускаем 3.1.2)? У нас почему-то вылезает ошибка с Class Not Found, хотя fat jar
источник

AZ

Anton Zadorozhniy in Data Engineers
это такой дизайн СУБД когда у вас есть два уровня:
1. довольно простые процессы на узлах с дисками которые могут сделать проекцию, агрегацию и фильтрацию с данными которые есть локально на этом узле
2. уровень на котором исполняется более сложные запросы, например джоины (он командует первому уровню перераспределять данные)

этот дизайн придумала компания Netezza (которую потом купила IBM и убила), у них вообще свой кремний был возле дисков
сейчас по такой архитектуре построена Oracle Exadata, у них "ячейки" это обычные интеловые сервера со своими дисками, и второй уровень - это оракл (или рак) который связан с нижним инфинибендом
источник

A

Alex in Data Engineers
посмотреть какого класса не хватает?
источник

DT

Dmitry Titov in Data Engineers
А, ну некоторые делают что то подобное что бы сэкономить на памяти, пачка воркеров с 64-128гб памяти и 1-2 жирные ноды на 2тб памяти
источник

AZ

Anton Zadorozhniy in Data Engineers
ну идея на поверхности
источник

RI

Rustam Iksanov in Data Engineers
смотрели, в джарнике он есть, отдельно подкладывали тоже.
источник

AZ

Anton Zadorozhniy in Data Engineers
КХ кажется практически готовым нижним уровнем, сверху докрутить уже оптимизатор со статистикой, научить перерераспределять таблицы, и готовая уже универсальная СУБД
источник

ЕГ

Евгений Глотов... in Data Engineers
Так они выпускать не успевают, всё майнеры скупают
источник

AZ

Anton Zadorozhniy in Data Engineers
так они понимают что все пирамиды схлопываются, надо же еще рынки искать
источник

DT

Dmitry Titov in Data Engineers
Майнерам не продашь дорогие профессиональные видеокарты.
источник

AZ

Anton Zadorozhniy in Data Engineers
иначе они бы не двигали другие рынки вообще, просто делали майнерское все без лишних наворотов
источник