Хорошо хоть подписка была по гранту😆

А это нельзя по каким-то причинам принести в он-прем?

Можно конечно

В конце концов, для сотрудника Амазона все что есть в AWS - это он-прем)

Блин, логично)

А вот с этим уже пробовали возиться? Стало лучше?

Emr может скейлиться

Если нагрузки нет, он может скукожиться до 2х нод, например

Это в самом начале пути, там помимо ярна приложения должны поддерживать эту парадигму (спарк не поддерживает)

Понял. Буду следить.

free monitoring dashboard for Apache Spark https://github.com/datamechanics/delight

в спаме сегодня видел

уже попробовал? как оно?

Не, десять секунд назад узнал об этой штуке. Выглядит хорошо

Здравствуйте. Недавно переехали с хадупа хортонворкс на клаудеру, и из-за этого у нас изменилась версия хайв и спарка.
В хайве мы юзаем орк-файлы, и после переезда на клаудеру начались проблемы чтения с ними. При попытке выбрать все данные таблицы, записанной в орк, выдает nullpointerexception. Сказали, что это из-за старых версий орк-файлов и в таких случаях посоветовали установить опции convertMetastoreOrc: false и EnableVectorizedReader: true.
Но после этого датасет начал возвращать меньше данных, чем на самом деле есть в таблице.

Подрзреваю, что более новые версии орк-файлов, которые были записаны позднее, либо игнорируются, либо читаются не полностью

Может, кто-то в курсе, есть ли способ обойти эту проблему и избежать nullpointerexception каким-то иным способом?

Я вот там прочитал, что UI и хистори-сервер не локальные, а предполагается только на их платформе это все смотреть. Если я все правильно понял, то я хз, кто этим будет пользоваться.

+ да было у мя на почте чёт; хотел тут банить уже а это Паша

😒 да уж. Взять отладчик в зубы и написать свой патч.