В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу
2020 November 01

AZ

Anton Zadorozhniy in Data Engineers
Dmitry
а что там сильно не так ? мы так и не научившись готовить куду на эту oss deltaio переписываем потихоньку.
смотря что вам нужно конечно, но для широкого применения кмк мешает то что все метаданные хранятся в объектном хранилище, нет каталога (и нет возможности передать планировщику дополнительную информацию вроде бакетинга или неявных партиций), нет optimize и нет z-order при том что отрезан бакетинг (то есть каждый мердж будет требовать все больше ресурсов потому что данные надо всегда сортировать)
источник
16:45пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
в принципе если вы готовы написать свой DBIO, то дельта может быть неплохой заготовкой
источник
16:46пожаловаться#2

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
смотря что вам нужно конечно, но для широкого применения кмк мешает то что все метаданные хранятся в объектном хранилище, нет каталога (и нет возможности передать планировщику дополнительную информацию вроде бакетинга или неявных партиций), нет optimize и нет z-order при том что отрезан бакетинг (то есть каждый мердж будет требовать все больше ресурсов потому что данные надо всегда сортировать)
Утрирую,  но звучит как айсберг :)
источник
16:50пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
Утрирую,  но звучит как айсберг :)
у айсберг как раз бакетинг и партиции сделаны на будущее, метаданные в любой нормальной базе (это точка расширения)
источник
16:53пожаловаться#4

SD

Serg D. in Data Engineers
Всем привет. Ребят, подскажите, пжл. Запускаю spark-submit. Через --files пытаюсь прокинуть конфигурационный файл. В логах вижу что этот файл копируется. В коде пытаюсь этот файл прочитать через  new File(SparkFiles.get(fileName)) . Проверяю существует ли файл - .exists возвращает false.
Как правильно прокинуть спарк джобу текстовый или конфигурационный файл?
источник
17:01пожаловаться#5

A

Alexander in Data Engineers
Serg D.
Всем привет. Ребят, подскажите, пжл. Запускаю spark-submit. Через --files пытаюсь прокинуть конфигурационный файл. В логах вижу что этот файл копируется. В коде пытаюсь этот файл прочитать через  new File(SparkFiles.get(fileName)) . Проверяю существует ли файл - .exists возвращает false.
Как правильно прокинуть спарк джобу текстовый или конфигурационный файл?
Через ресурсы
источник
17:04пожаловаться#6

SD

Serg D. in Data Engineers
т.е. запаковать вместе с jarником?
источник
17:05пожаловаться#7

A

Alexander in Data Engineers
Ну да
источник
17:05пожаловаться#8

SD

Serg D. in Data Engineers
А если конфигу нужно внешний? чтобы могли менять без пересборки
источник
17:05пожаловаться#9

A

Alexander in Data Engineers
источник
17:07пожаловаться#10

A

Alexander in Data Engineers
Сорян, не могу текст скопировать
источник
17:07пожаловаться#11

A

Alexander in Data Engineers
Смотрите, как указан файл application.conf
источник
17:08пожаловаться#12

SD

Serg D. in Data Engineers
Ок, спасибо. А внутри через ресурсы?
источник
17:10пожаловаться#13

A

Alexander in Data Engineers
Serg D.
Ок, спасибо. А внутри через ресурсы?
Не понял
источник
17:11пожаловаться#14

SD

Serg D. in Data Engineers
В коде как получаете файл application.conf?
источник
17:12пожаловаться#15

A

Alexander in Data Engineers
Не. Используйте библиотеку com.typesafe.config. Создаёте case classы, которые отражают структуру вашего config файла. Библиотека парсит ваш файл, потом через эти классы получаете доступ к значениям парараметров
источник
17:15пожаловаться#16

SD

Serg D. in Data Engineers
Понял. Спасибо за наводку. Буду копать.
источник
17:16пожаловаться#17
2020 November 02

I

Ilya in Data Engineers
может кто подскажет, кто гугл драйвом пользуется, он показывает что хранилище почти заполненно, но он у меня смаунтен на компе и там только гига, а где остальные 14 ?
источник
00:48пожаловаться#18

АЖ

Андрей Жуков... in Data Engineers
Ilya
может кто подскажет, кто гугл драйвом пользуется, он показывает что хранилище почти заполненно, но он у меня смаунтен на компе и там только гига, а где остальные 14 ?
Почта,  фотки
источник
00:50пожаловаться#19

dv

dobbry vechur in Data Engineers
Ilya
может кто подскажет, кто гугл драйвом пользуется, он показывает что хранилище почти заполненно, но он у меня смаунтен на компе и там только гига, а где остальные 14 ?
В корзине?
источник
00:52пожаловаться#20