Size: a a a

2021 October 16

GB

Gennadiy Bbb in Data Engineers
Impala
источник

ЕГ

Евгений Глотов... in Data Engineers
В схеме таблицы поменять тип поля на int
источник

ЕГ

Евгений Глотов... in Data Engineers
Экстернал таблица?
источник

GB

Gennadiy Bbb in Data Engineers
нет, таблица не external. Только на одном партишене такая ошибка. До этого было изменение типа int ->string
источник

GB

Gennadiy Bbb in Data Engineers
Поменял на INT. Отработало
источник

ЕГ

Евгений Глотов... in Data Engineers
Вот не надо так делать)
источник

GB

Gennadiy Bbb in Data Engineers
если что, заранее был сделан бэкап
источник

ЕГ

Евгений Глотов... in Data Engineers
А паркеты-то не поправили
источник

ЕГ

Евгений Глотов... in Data Engineers
Если в хадупе нужно поменять схему, то нужно считать данные, поменять тип колонки и записать в таком же формате
источник

ЕГ

Евгений Глотов... in Data Engineers
Всё остальное в основном ведёт к провалу, который обнаружится через полгода
источник

GB

Gennadiy Bbb in Data Engineers
в Импале делалось. Таблица в паркетнике. После изменений делался recover partition и compute stats
источник

GB

Gennadiy Bbb in Data Engineers
данные на месте
источник

ЕГ

Евгений Глотов... in Data Engineers
Делалось что? Alter table alter column?
источник

GB

Gennadiy Bbb in Data Engineers
alter table tbl_name change column col_name_prev col_name_new new_type
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну вот я и говорю, не надо так
источник

ЕГ

Евгений Глотов... in Data Engineers
Это не будет работать
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну собственно и не работает)
источник

GB

Gennadiy Bbb in Data Engineers
таблица огромная, чтобы запускать create table as select с преобразованием типа
источник

ЕГ

Евгений Глотов... in Data Engineers
В реляционках данная операция берёт и меняет физически всю колонку, тогда всё коррректно
источник

ЕГ

Евгений Глотов... in Data Engineers
А вы решили условно поменять шильдик бэнтли на бугатти, и ждёте, что быстрее поедет
источник