Size: a a a

2021 March 30

Н

Никита in Data Engineers
круто спс
источник

AS

Andrey Smirnov in Data Engineers
Stanislav
А подскажите по фениксу. Делаю хбейз снепшот текущей таблицы феникса, создаю из него хбейз таблицу, вешаю сверху вью(или таблицу феникса), во всех ключевых полях значения есть, все колонки пустые. Хотя через хбейз все колонки заполненные, снепшот восстановлен верно и целиком.
не сталкивался с фениксом, но он вроде значения хранит в другом формате, возможно вот такое подкладывание не работает?
источник

PA

Panchenko Andrey in Data Engineers
Ребята привет.
Вопрос:
Кто-то синхронил mssql с bigquery?
Не могли бы поделиться опытом?
источник

RI

Rustam Iksanov in Data Engineers
Stanislav
А подскажите по фениксу. Делаю хбейз снепшот текущей таблицы феникса, создаю из него хбейз таблицу, вешаю сверху вью(или таблицу феникса), во всех ключевых полях значения есть, все колонки пустые. Хотя через хбейз все колонки заполненные, снепшот восстановлен верно и целиком.
Можно подробнее. Был опыт переноса таблиц феникса между кластерами. То еще удовольствие. Одна таблица из 10 так и не встала нормально.
источник

K

KrivdaTheTriewe in Data Engineers
@@dartov а есть какие нибудь общие рекомендации по деплойменту престо по железу, и как оно сильно от иопсов рандомныз зависит
источник

K

KrivdaTheTriewe in Data Engineers
По кафке и хадупу вот были книжки хорошие с расчетом всего и вся
источник

S

Stanislav in Data Engineers
Andrey Smirnov
не сталкивался с фениксом, но он вроде значения хранит в другом формате, возможно вот такое подкладывание не работает?
Там обычная хбейз таблица, хранить по другому вроде не должен. Тем более есть механизм вью феникса над чистыми хбейз таблицами
источник

S

Stanislav in Data Engineers
Sergey Sheremeta
если посмотреть на описания столбцов исходной Phoenix-таблицы и таблицы-копии в SYSTEM.CATALOG - есть различия?
Хз)
источник

S

Stanislav in Data Engineers
Rustam Iksanov
Можно подробнее. Был опыт переноса таблиц феникса между кластерами. То еще удовольствие. Одна таблица из 10 так и не встала нормально.
С точки зрения феникса каунт у таблицы из снепшота показывает верные цифры, но все колонки с значениями пустые
источник

SS

Sergey Sheremeta in Data Engineers
Stanislav
С точки зрения феникса каунт у таблицы из снепшота показывает верные цифры, но все колонки с значениями пустые
COLUMN_ENCODED_BYTES ?
источник

RI

Rustam Iksanov in Data Engineers
Stanislav
С точки зрения феникса каунт у таблицы из снепшота показывает верные цифры, но все колонки с значениями пустые
У меня было такое, когда типы данных не были строками
источник

RI

Rustam Iksanov in Data Engineers
Sergey Sheremeta
COLUMN_ENCODED_BYTES ?
+
источник

N

Nikita Blagodarnyy in Data Engineers
Stanislav
С точки зрения феникса каунт у таблицы из снепшота показывает верные цифры, но все колонки с значениями пустые
А ты в новом фениксе как таблицы создаешь? Ровно также, как на старом они были созданы?
источник

N

Nikita Blagodarnyy in Data Engineers
Просто getDDL какой-нибудь половину не покажет
источник

S

Stanislav in Data Engineers
Sergey Sheremeta
COLUMN_ENCODED_BYTES ?
Не-а, не помогает (
источник

S

Stanislav in Data Engineers
Rustam Iksanov
У меня было такое, когда типы данных не были строками
Там много всякого. В случае не строк строки будут видны или все колонки битые?
источник

S

Stanislav in Data Engineers
Nikita Blagodarnyy
А ты в новом фениксе как таблицы создаешь? Ровно также, как на старом они были созданы?
Да, схема одинаковая. Да и как только не создавал включая вью. Поведение одинаковое, значений нет
источник

RI

Rustam Iksanov in Data Engineers
Stanislav
Там много всякого. В случае не строк строки будут видны или все колонки битые?
Только строки отображались. Ты проверял системные таблицы феникса?
источник

S

Stanislav in Data Engineers
Rustam Iksanov
Только строки отображались. Ты проверял системные таблицы феникса?
Нет
источник

S

Stanislav in Data Engineers
Пробовал разворачивать снепшот на этом же кластере. Всё было одинаково
источник