ПФ
А, ну коннектор, да
Size: a a a
2021 October 20
AZ
а если вы постучитесь к нужным людям - то с айсбергом из афины можно будет работать
ПФ
И из glue :)
ПФ
Но "вы не понимаете это другое"
AZ
для глу даже стучаться никуда не надо
ПФ
Я вообще не очень понимаю смысл айсберга при живом худи, честно говоря
ПФ
Видимо чисто чтобы несколько query engines иметь
ПФ
Хотя не, с худи тоже много есть
AZ
в смысле? это разные проекты с разной историей, Худи это конкретная разработка Убера которую отдали в сообщество
Айсберг это дитя нескольких архитекторов из очень крупных даталейков, с другим целеполаганием и другим дизайном
Айсберг это дитя нескольких архитекторов из очень крупных даталейков, с другим целеполаганием и другим дизайном
AZ
ASF же не энтерпрайз, они не смотрят на два похожих проекта и говорят "вас слишком много"
пусть расцветают сто цветов
пусть расцветают сто цветов
ПФ
Но в итоге они все делают даталейки, так? Примерно с одной ЦА
ПФ
И вот как кастомер я пока не очень понимаю зачем нужен айсберг
ПФ
Типа в чём его бонусы
AZ
если вы используете худи и счастливы - вам не нужен айсберг
ПФ
Представим себе другую ситуацию: я сейчас выбираю между тремя решениями: худи, айсберг и дельта. Первое что я делаю - я читаю кто что умеет. И кажется что худи лучше как минимум айсберга. Правда ли я пойду пробовать оба?
AZ
Вы выбираете чтобы какие решить задачи?
ПФ
Ну как всегда - хотим апдейты и делиты на колоночных форматах. В идеале с историей изменений
AZ
если у вас относительно небольшая команда и/или небольшие масштабы - берите худи однозначно, айсберг потребует дописывания много всего
если у вас очень большой даталейк и команды - вы можете посмотреть айсберг с тз сильного ускорения планирования джобов, и потенциально намного лучшей модели бакетирования чтобы улучшить меньше тратить на шаффлы
если у вас очень большой даталейк и команды - вы можете посмотреть айсберг с тз сильного ускорения планирования джобов, и потенциально намного лучшей модели бакетирования чтобы улучшить меньше тратить на шаффлы
ПФ
А как ты это понял? Или это чисто из опыта?
AZ
через чудо человеческого общения