AZ
ну я думаю больше в сторону стримов всяких и что бы не надо было никогда ни описывать эти етлы ни ранить;
декомпозировать их
декомпозировать их
стримы же описывать и ранить не надо
Size: a a a
2020 October 15
ME
Хм, а есть коалы наоборот? Чтобы писать на спарк апи, а под капотом были панды?)
ME
А то у меня тут данных кот наплакал, но спарковский код уже есть)
AZ
Хм, а есть коалы наоборот? Чтобы писать на спарк апи, а под капотом были панды?)
—master local[*]
ME
—master local[*]
наверное так и попробую сделать. Оно не медленнее панд будет на одной машинке?
ME
Мне кажется, там оверхеда много
AZ
если данных кот наплакал то вам не все равно?
ME
справедливо)
SB
Привет, записываю из spark приложения в postgres данные просто каr dataframe.write.jdbc
Вопрос:
хочется добавить индексы к записанным данным, как бы вы это организовали:
через jdbc прямо из джобы вызывали соответсвующий sql?
писали триггеры внутри postgresql?
хитрая оркестрация через airflow?
Вопрос:
хочется добавить индексы к записанным данным, как бы вы это организовали:
через jdbc прямо из джобы вызывали соответсвующий sql?
писали триггеры внутри postgresql?
хитрая оркестрация через airflow?
ME
А просто в базе нельзя индексы включить?
ME
Или это нужно часто делать?
ME
но ведь индексы задаются на этапе DDL, в момент когда вы делаете insert into они автоматически строятся
ME
или вы каждый раз таблицу целиком пересоздаете?
SB
это не то что бы отработанная схема работы
поэтому пока там была история каждый раз создавать таблицу
вероятно самый правильный способ был бы сначала сделать корректный ddl в котором описать все индексы, а уже после него запускать spark job
поэтому пока там была история каждый раз создавать таблицу
вероятно самый правильный способ был бы сначала сделать корректный ddl в котором описать все индексы, а уже после него запускать spark job
AS
но ведь индексы задаются на этапе DDL, в момент когда вы делаете insert into они автоматически строятся
Если грузится один большой батч, то лучше отключить индекс, записать, потом подключить обратно
ME
Если грузится один большой батч, то лучше отключить индекс, записать, потом подключить обратно
Да, в таком случае лучше сначала create table без индексов описать, залить и потом построить
ME
Если грузится один большой батч, то лучше отключить индекс, записать, потом подключить обратно
тут правда скорее, не если грузится "большой батч", а если создаем новую таблицу
ME
потому что "большой батч" может быть меньше тех данных что уже лежат
SB
> Да, в таком случае лучше сначала create table без индексов описать, залить и потом построить
и как в таком плане лучше орагнизовать вызов такого create index sql
неужели вызывать при помощи любого jdbc коннектора прямо из spark джобы?
и как в таком плане лучше орагнизовать вызов такого create index sql
неужели вызывать при помощи любого jdbc коннектора прямо из spark джобы?