AZ
Мы даже для своей СУБД теперь по желанию заказчика поставляем кубер рядом, на своём железе он вообще в инфинибенде сидит, и приложухи наружу мы пускаем просто так, а не через джава приложуху переписывающую строки на ходу))
Size: a a a
2019 November 26
VE
Сейчас конечно всё это в докере и под кубер пилим, но для PoC нам очень редко дают в ресурс каких-нить дата инженеров или доступ к куберу, обычно просто стандалон ставим
VE
Спасибо за информацию к размышлению)
AK
Привет всем
Никто не подскажет, есть ли какая-нибудь хорошо оптимизированная функция под спарк для выделения часто встречающегося значения при группировке(group by)?
Сейчас я взял UDF отсюда - https://gist.github.com/anish749/6a815ed281f538068a0d3a20ca9044fa - оно просто складывает все значения с count'ами в мапу и выбирает в конце наиболее используемое
работает это очень долго на большой таблице
хочется заиметь некий аналог
Никто не подскажет, есть ли какая-нибудь хорошо оптимизированная функция под спарк для выделения часто встречающегося значения при группировке(group by)?
Сейчас я взял UDF отсюда - https://gist.github.com/anish749/6a815ed281f538068a0d3a20ca9044fa - оно просто складывает все значения с count'ами в мапу и выбирает в конце наиболее используемое
работает это очень долго на большой таблице
хочется заиметь некий аналог
anyHeavy() из ClickHouse
A
если есть литература ссылки на ресурсы, просьба дать, что бы предварительно можно было погрузиться в Cloudera
Не самый дальновидный поступок ) если возникнут проблемы или вопросы, в клаудеру писать будете?
A
А вот в Аренадату написать можно и получить консультацию. К тому же если работаете в РФ, то в проде у вас с большой долей вероятности рано или поздно будет именно сборка Аренадаты
T
Коллеги, привет. Если у кого был реальный опыт по замене HDFS на S3, расскажите с какими болями пришлось столкнуться, с какими лишениями пришлось смириться или не смириться, что пришлось пережить команде разработке, как стали организованы джобы на каком-нибудь спарке, как радовался ваш девопс, когда ему больше не приходится рестартовать неймноды и пр.???
Мы успешно переехали только у нас совсем не много данных ~ 50 тб за ночь и процессы только бачевые
T
И много денег - самыважный пункт при работе с авс
A
если речь про будущее то останется только Cloudera, CDP
Хортон наверное тоже когда-то так думал... ) Так что тут как бы.... бабка надвое сказала. Вообще не удивимся, если клаудера через какое-то время прикроет свой дистрибутив для офлайна и оставит доступным только CDP из облака.
VE
Nah, у клаудеры единственное лидерство это как раз таки на on prem, зачем от него отказываться
VE
Они в гибрид уходят
VE
Чего с EMR и датабриксом нельзя
AS
Anton Kovalenko
А вот в Аренадату написать можно и получить консультацию. К тому же если работаете в РФ, то в проде у вас с большой долей вероятности рано или поздно будет именно сборка Аренадаты
боже упаси
A
Nah, у клаудеры единственное лидерство это как раз таки на on prem, зачем от него отказываться
https://ru.investing.com/equities/cloudera-inc-income-statement
Последние 4 года Клаудера убыточна на сумму от 150 до 370 млн. $ в год. Выводы делайте сами. Хортон тоже не от хорошей жизни продался и тоже был убыточен. Так что лидерство в кол-ве on-prem инсталляций - это не показатель. Для них это скорее тяжелая ноша, которая приносит не так много денег, чтобы даже окупится.
Последние 4 года Клаудера убыточна на сумму от 150 до 370 млн. $ в год. Выводы делайте сами. Хортон тоже не от хорошей жизни продался и тоже был убыточен. Так что лидерство в кол-ве on-prem инсталляций - это не показатель. Для них это скорее тяжелая ноша, которая приносит не так много денег, чтобы даже окупится.
ME
ну вопрос же в росте выручки
VE
Так никто не спорит с тем что у них убытки, но у них сейчас стратегия на гибрид. Он прем кастомеры уходят в Клауд и их нечем сдерживать
VE
Но отказываться от существующих кастомеров которым нужен он прем - идиотство
VE
И мультклауд ещё
VE
Которого нет у ЕМР например
VE
Они чистый Клауд не потянут конкурировать с ЕМР и датабриксом, это самоубийство