AZ
Жмака
Не wal'ы а прям hbase файлы?
у меня есть такой клиент
Size: a a a
2020 July 28
AZ
даже два
Ж
А почему тогда не попробовать сплиттинг улучшить если есть горячие регионы?
AZ
с HBase вообще много возможностей с SSD, например туда можно Bucket Cache вынести
N
ещё бы не правда. был у меня оракле дба с дипломами в конторе. и смотрел я, как он запросы переписывает, так это какая-то злоебучая unholy magic. чё я писал на наивном sql, и чё в итоге у него было на диалекте. в тыщи раз быстрее запросы работали на терабайтовой базе
а не вспомните, что там такое волшебное было? для общего развития. я так вроде кроме connect by, model, XML и grouping sets ничего оракл-специфичного в диалекте не вспоминаю.
Ж
с HBase вообще много возможностей с SSD, например туда можно Bucket Cache вынести
Чтобы вся память в mem store ушла?
Д
а не вспомните, что там такое волшебное было? для общего развития. я так вроде кроме connect by, model, XML и grouping sets ничего оракл-специфичного в диалекте не вспоминаю.
Обычно все вспоминают о их диалекте join, а тут похоже говорят о хинтах. Хинты там есть очень специфичные, особенно на экзадате.
N
Ну в целом вендор рекомендует хинты использовать только в крайнем случае.
OI
Привет!
Вопрос: если spark thrift server и при попытке подключиться ловлю вот такую ошибку
хотя в конфиге hive.server2.thrift.max.worker.threads стоит в 150
Не подскажете, куда копать? В логах чего-то особенного я не вижу 🤔
Вопрос: если spark thrift server и при попытке подключиться ловлю вот такую ошибку
20/07/28 09:17:21 WARN HiveConnection: Failed to connect to localhost:10000
Unexpected end of file when reading from HS2 server. The root cause might be too many concurrent connections. Please ask the administrator to check the number of active connections, and adjust hive.server2.thrift.max.worker.threads if applicable.
Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/: null (state=08S01,code=0)
хотя в конфиге hive.server2.thrift.max.worker.threads стоит в 150
Не подскажете, куда копать? В логах чего-то особенного я не вижу 🤔
чё прям вообще ни у кого не было?)
A
Может кому будет интересно https://www.eventbrite.com/e/dc-thurs-apache-flink-w-stephan-ewen-tickets-112137488246
Думаешь что-то новое скажут :) но в фоне запустить можно будет
AZ
Жмака
Чтобы вся память в mem store ушла?
memstore хранит изменения, это не кэш; bucket cache используется как L2 off-heap кэш для блоков, освобождая Block Cache.. можно на чтение разогнаться до показателей Redis
T
Думаешь что-то новое скажут :) но в фоне запустить можно будет
Да я тоже думаю фоном послушать, ну ещё может ченить про форк алибабы расскажут. Кстати они его уже в мерджили в обычный флинк?
A
Да
A
В 1.10 или 1.11 блинк уже дефолт тейбл движок
T
👍
A
Сейчас усиленно работают над оптимизацией батч запросов
A
В 10 пайфлинк подвезли
В 11 апи ближе к пандасу (местная коала, но сразу в кодовой базе)
Китайцы в али там что дурные комитят :)
В 11 апи ближе к пандасу (местная коала, но сразу в кодовой базе)
Китайцы в али там что дурные комитят :)
T
В 10 пайфлинк подвезли
В 11 апи ближе к пандасу (местная коала, но сразу в кодовой базе)
Китайцы в али там что дурные комитят :)
В 11 апи ближе к пандасу (местная коала, но сразу в кодовой базе)
Китайцы в али там что дурные комитят :)
у них же своя жвм еще? не сделают они в конце концов вендрор лок флинку?
A
Jvm не публичная и не будут делать так как все же в опенсорс уходит