Д
Будьте милосердны
Size: a a a
2019 November 06
MB
Всем привет.
MB
Странная ситуёвина с таблицей HBASE.
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
AS
Странная ситуёвина с таблицей HBASE.
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
руками merge не пробывал делать?
AZ
Странная ситуёвина с таблицей HBASE.
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
Количество сплитованных регионов растёт и не уменьшается. Пробовал major_compact - эфекта не дало :(
Пробовал пре-сплит. Регионов стало только больше.
Куда смотреть?
1) посмотреть почему сплитится, скорее всего ключей очень много 2) потыкать ручки сплита/мерджа, в шелле
splitormerge_enabled 'SPLIT' - это статус автосплита, splitormerge_enabled 'MERGE' - статус автомерджаПФ
Инжинеры, а что, нельзя сказать хайву что у меня CSV пожатые если при этом у файлов не проставлен экстеншн gz?
MB
руками merge не пробывал делать?
неа, чёт очкую... нам итак размер регионов нормальные, а если их мерджить, то они увеличиваться в размере будут. Кроме того надо понимать какие смерджить
MB
1) посмотреть почему сплитится, скорее всего ключей очень много 2) потыкать ручки сплита/мерджа, в шелле
splitormerge_enabled 'SPLIT' - это статус автосплита, splitormerge_enabled 'MERGE' - статус автомерджаоба true
AZ
оба true
ну тогда вам надо еще раз внимательно посмотреть на дизайн rowkey и на то что хранится в таблице, и если вы уверены в размерах тех регионов которые есть - выключить автосплит, но надо принять риск что если вы просчитались - будут очень тяжелые регионы которые будут тормозить конкретные регион-сервера
AZ
самые нагруженные хбейсы с которыми я работал имели фиксированные регионы с пресплитом и без автосплита
AZ
(но это неудобно конечно, большой оверхед на ДБА)
AS
неа, чёт очкую... нам итак размер регионов нормальные, а если их мерджить, то они увеличиваться в размере будут. Кроме того надо понимать какие смерджить
если размер нормальный, то чего ты переживаешь?
можно мержить указав два region key, проверишь что все норм
можно мержить указав два region key, проверишь что все норм
DV
Всем привет!
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
DV
DataSet:
|col1|col2|
|12|1001|
f(row) =row(0)+row(1)
f(нулевая строка) = 12 +1001=13
Вот есть, что-то такое?
|col1|col2|
|12|1001|
f(row) =row(0)+row(1)
f(нулевая строка) = 12 +1001=13
Вот есть, что-то такое?
AZ
Всем привет!
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
в датасетах нет столбцов и строк, это коллекции объектов заданного класса
AS
DataSet:
|col1|col2|
|12|1001|
f(row) =row(0)+row(1)
f(нулевая строка) = 12 +1001=13
Вот есть, что-то такое?
|col1|col2|
|12|1001|
f(row) =row(0)+row(1)
f(нулевая строка) = 12 +1001=13
Вот есть, что-то такое?
не совсем понял задачу. у вас должно быть что то типа df = df.withColumn("res", f.col('col1')+f.col('col2'))
AS
для получения номера строки df.withColumn('fakeOrder', f.lit(1)).withColumn("row_number", f.row_number().over(Window.orderBy("fakeOrder"))) и возможно вам надо еще кумулятивную сумму сделать
AS
df.withColumn("cumsum", f.sum(f.col("Value")).over(Window.orderBy("fakeOrder")))
AS
Всем привет!
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
Не могли бы подсказать, какой метод в Spark DataSet позволяет вычислить пользователькую функцию f для каждой строки, причем результатом исполнения метода будет столбец, где в i строке будет значение f на i строке исходного DataSet?
P.S. язык Scala
простите плохо прочитал задачу. я думал что вам надо DataFrame
DV
Т.е. если я делаю dataset.select(name), то name - это не колонка , а некоторая другая "сущность"?