Size: a a a

2020 October 06

AZ

Anton Zadorozhniy in Data Engineers
Анатолий Клюса
та не... )) так не хочется... ) хотя, вариант конечно... )
Просто это будет простой rest сервер, возвращающий результат запроса.
сервер наверное будет правильно завернуть в контейнер
источник

АК

Анатолий Клюса... in Data Engineers
Anton Zadorozhniy
сервер наверное будет правильно завернуть в контейнер
пока на коленке, чтобы проверить)
А в контейнер... сорри за невежественность... это как?
источник

АК

Анатолий Клюса... in Data Engineers
там простой локальный сервак БД, хочу метрику с него кидать в прометеус )
источник

АК

Анатолий Клюса... in Data Engineers
через свои запросы)
источник

AZ

Anton Zadorozhniy in Data Engineers
Анатолий Клюса
пока на коленке, чтобы проверить)
А в контейнер... сорри за невежественность... это как?
в докер завернуть, чтобы проще было принести и запустить (а также протестировать)
источник

АК

Анатолий Клюса... in Data Engineers
А... ну, до этого я пока не дошел, пока просто скопирую. на сервак и python my.py )
А у себя на машине тестить... наверное, придется инстант клиент оракла поставить, у меня федора.
Хотя, ява приложения у меня работают без клиента, только ojdbc6.jar нужен.
источник

AZ

Anton Zadorozhniy in Data Engineers
Свеженькое https://projectnessie.org
источник

R

Renarde in Data Engineers
видел в бою поверх дельты разок - действительно интересная идея,  но к сожалению пока нет очень важной фишки - merge двух версий
источник

R

Renarde in Data Engineers
иногда хочется форкнуть таблицу, накатить на нее изменения, проверить их и потом смерджить обратно в боевую часть (ну как код, по сути).
в Databricks для этого есть shallow copy, но это не совсем git-like interface
источник

R

Renarde in Data Engineers
готовая бизнес-идея, между прочим, назвать можно  TableOps 😃
источник
2020 October 07

AZ

Anton Zadorozhniy in Data Engineers
Я на это смотрю как на ещё один интерфейс к темпоральным таблицам, прикручу как-нибудь к нашим темпоральным (у них там есть пример реализации на вьюхах просто)
источник

AZ

Anton Zadorozhniy in Data Engineers
Renarde
иногда хочется форкнуть таблицу, накатить на нее изменения, проверить их и потом смерджить обратно в боевую часть (ну как код, по сути).
в Databricks для этого есть shallow copy, но это не совсем git-like interface
А это можно сделать целостно по пачке таблиц, или только one at a time?
источник

R

Renarde in Data Engineers
Anton Zadorozhniy
А это можно сделать целостно по пачке таблиц, или только one at a time?
в случае с shallow copy это можно сделать, ты сам выбираешь порядок форков и применения операций к боевой таблице
но здесь есть маленькое но - в дельте (пока) нет встроенной сессионности изменений между многими таблицами сразу (ее нужно писать самому).

то есть если ты делаешь:

> shallow copy table1
> shallow copy table2
> apply ops1 to shallow copy of table1
> apply ops2 to shallow copy of table2
> merge shallow copy of table1 to master table1
> merge shallow copy of table2 to master table2


И на шаге:

>
merge shallow copy of table2 to master table2

у тебя происходит фейл по любой из причин, то роллбек на table1 ты должен потом сделать сам:

> ol
dVersion = table1@previousVersion
> table1 set oldVersion

В
целом такую логику можно бы реализовать, но честно говоря я пока не видел особого интереса к таким advanced штучкам
источник

AZ

Anton Zadorozhniy in Data Engineers
Renarde
в случае с shallow copy это можно сделать, ты сам выбираешь порядок форков и применения операций к боевой таблице
но здесь есть маленькое но - в дельте (пока) нет встроенной сессионности изменений между многими таблицами сразу (ее нужно писать самому).

то есть если ты делаешь:

> shallow copy table1
> shallow copy table2
> apply ops1 to shallow copy of table1
> apply ops2 to shallow copy of table2
> merge shallow copy of table1 to master table1
> merge shallow copy of table2 to master table2


И на шаге:

>
merge shallow copy of table2 to master table2

у тебя происходит фейл по любой из причин, то роллбек на table1 ты должен потом сделать сам:

> ol
dVersion = table1@previousVersion
> table1 set oldVersion

В
целом такую логику можно бы реализовать, но честно говоря я пока не видел особого интереса к таким advanced штучкам
в Nessie идея не делать прямой merge, у них есть rebase (который в коде называется assign), и делается целиком для всего даталейка; я побенчмаркаю их идеи, кмк что-то в этом есть
источник

N

Nikita Blagodarnyy in Data Engineers
Это я тупой или в Iceberg внатуре позиционная запись и он не умеет по именам раскидать?
источник

R

Roman in Data Engineers
Коллеги, что посоветуете, чтобы освежить свои знания в скале?
Я года 3.5 назад пытался пройти курс от Мартина одерски на курсере, не получилось, потому что не нужна была особо мне скала тогда. Чутка писал на ней в то же время.
Какой курс посоветуете? Либо обратно к Одерски возвращаться?
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Это я тупой или в Iceberg внатуре позиционная запись и он не умеет по именам раскидать?
ну у спарка есть методы чисто позиционные
источник

T

T in Data Engineers
Roman
Коллеги, что посоветуете, чтобы освежить свои знания в скале?
Я года 3.5 назад пытался пройти курс от Мартина одерски на курсере, не получилось, потому что не нужна была особо мне скала тогда. Чутка писал на ней в то же время.
Какой курс посоветуете? Либо обратно к Одерски возвращаться?
если освежить то можно взять у лайтбенда курсы, они вроде пока бесплатные
источник

N

Nikita Blagodarnyy in Data Engineers
Roman
Коллеги, что посоветуете, чтобы освежить свои знания в скале?
Я года 3.5 назад пытался пройти курс от Мартина одерски на курсере, не получилось, потому что не нужна была особо мне скала тогда. Чутка писал на ней в то же время.
Какой курс посоветуете? Либо обратно к Одерски возвращаться?
почитай Скалу для нетерпеливых. приятная такая книжка, с упражнениями. я вот дочитываю.
источник

R

Roman in Data Engineers
Спасибо коллеги!
А кто - нибудь от Одерски курс проходил? Он актуален ещё?
Просто мне казалось, что изучать язык от одного из основных его создателей - это очень логичный шаг, но всякое бывает в жизни...
источник