В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 November 27

AE

Alexey Evdokimov in Data Engineers
я прям щас пилю такую систему. получается энтерпрайзненько и довольно кроваво. вот думаю, не изобретаю ли велосипед.
источник
19:29пожаловаться#1

AE

Alexey Evdokimov in Data Engineers
каждый квадратик тут по сути наследник
   public abstract class Operation implements Serializable {
       public abstract Map<String, JavaRDDLike> getResult(Map<String, JavaRDDLike> input);
   }
источник
19:37пожаловаться#2

AS

Andrey Sutugin in Data Engineers
Alexey Evdokimov
я прям щас пилю такую систему. получается энтерпрайзненько и довольно кроваво. вот думаю, не изобретаю ли велосипед.
Есть такая штука（https://github.com/YotpoLtd/metorikku）, только без гуя вроде, но сам не пользовался, пилю свои велосипеды)))
источник
19:38пожаловаться#3

K

KrivdaTheTriewe in Data Engineers
Alexey Evdokimov
каждый квадратик тут по сути наследник
   public abstract class Operation implements Serializable {
       public abstract Map<String, JavaRDDLike> getResult(Map<String, JavaRDDLike> input);
   }
А чего вы не на скале пишите ?
источник
19:39пожаловаться#4

AE

Alexey Evdokimov in Data Engineers
ну он может быть и на скале, мне всё равно. остальная обвязка на жабе, потому что так проще
источник
19:40пожаловаться#5

AE

Alexey Evdokimov in Data Engineers
гуй у меня в отдалённых планах на самом-то деле. щас пока весь пайплайн через километровые конфиги, собираемые при помощи такой-то матери и набора разрозненных инструментов
источник
19:41пожаловаться#6

AE

Alexey Evdokimov in Data Engineers
после нового года может быть и на гитхаб выложу.
правда, без квадратиков с патентованными алгоритмами их не очень много будет
источник
19:46пожаловаться#7

K

KrivdaTheTriewe in Data Engineers
У меня один вопрос
источник
19:52пожаловаться#8

K

KrivdaTheTriewe in Data Engineers
А почему нельзя нарисовать план физический ?
источник
19:52пожаловаться#9

K

KrivdaTheTriewe in Data Engineers
И скрины каталиста
источник
19:53пожаловаться#10

AE

Alexey Evdokimov in Data Engineers
план чего?
источник
19:59пожаловаться#11

K

KrivdaTheTriewe in Data Engineers
какой-то такой lo-fi concept:
источник
20:00пожаловаться#12

AE

Alexey Evdokimov in Data Engineers
это концепт гуя для редактирования процесса, составляемого из набора операций, написанных на жабе/скале, каждая из которых берёт на вход некие датасеты, и генерирует некие датасеты по заданным правилам. операций около 50, а процессов из них на данный момент нужно составлять несколько сотен.
источник
20:04пожаловаться#13

AE

Alexey Evdokimov in Data Engineers
некоторые процессы повторяются часто, для сотен исходных датасетов. некоторые уникальные. рисуются под одного заказчика и считаются один раз
источник
20:05пожаловаться#14

AE

Alexey Evdokimov in Data Engineers
а мне это надо автоматизировать, что бы не было так, блин, больно, как сейчас...
источник
20:06пожаловаться#15

K

KrivdaTheTriewe in Data Engineers
Все это было обречено на провал
источник
20:07пожаловаться#16

K

KrivdaTheTriewe in Data Engineers
Все такие гуи
источник
20:07пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
Так мне кажется можно пойти по пути генерации sql
источник
20:07пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
Есть наверняка же какие то гуи
источник
20:08пожаловаться#19

AE

Alexey Evdokimov in Data Engineers
у каждого модуля от запуска к запуску набор настроек отличается, входные данные тоже в каком попало формате.
в итоге у меня несколько DSL на конфигурацию и для описания входа (хорошо, если формат колоночный, но может быть и набор полигонов из OSM)
источник
20:10пожаловаться#20