Size: a a a

2019 December 04

AS

Andrey Smirnov in Data Engineers
d3.js
источник

ME

Mikhail Epikhin in Data Engineers
Ну мы как-то пользовались graphviz, но это больше для визуализации и ознакомления было
источник

ME

Max Efremov in Data Engineers
Можно в neo4j загнать, веб интерфейс умеет графы рисовать))
источник

M

M in Data Engineers
Nikita Blagodarnyy
Граждане, подскажите, у кого есть опыт визуализации кастомных дагов? Интересуют программные средства и опыт эксплуатации.
Юзкейс. У меня есть некоторая метаинформация о шагах джоба, из каких степов он состоит, как они называются, где они ветвятся, сливаются, принимают решения по какой ветке пойти. Я хочу, чтобы нечто считало ее и на веб странице нарисовался даг, визуализирующий мой джоб. Типа как в TezUI или AirFlow webui.
Информатику/визио не предлагать.
я еще использую gephi (для больших графов)
источник

AS

Anton Shelin in Data Engineers
mermaid - Markdownish syntax for generating flowcharts, sequence diagrams, class diagrams, gantt charts and git graphs.
https://mermaid-js.github.io/mermaid/#/
источник

AS

Anton Shelin in Data Engineers
Графвиз пробовал не понравилось
источник

MV

Michael Voloshin in Data Engineers
источник

MV

Michael Voloshin in Data Engineers
Всем привет! Кто знает, сколько такая штука стоит? Пустая?
источник

MV

Michael Voloshin in Data Engineers
гуглинг не дает реальных цифр
источник

MV

Michael Voloshin in Data Engineers
Если палевно, то в личку напишите пожалуйста
источник

A

Alex in Data Engineers
как и любой энтерпрайз стоит столько на сколько договоришься =)
источник

MV

Michael Voloshin in Data Engineers
Спасибо, я в курсе) Интересует базовая цена от которой происходят договоренности. И да я в курсе, что можно в 3-4 раза снизить базовую если брать сразу пачку) Понять бы исходное значение...
источник

MV

Michael Voloshin in Data Engineers
источник

MV

Michael Voloshin in Data Engineers
аналог от DELL - также устроит
источник

AE

Anastasiya Esiunina in Data Engineers
Всем привет, подскажите нормальна ли ситуация? При удалении директории - партиции в hdfs, после выполнения команды msck repair table в 3 версии Hive, внешняя или Managed таблица все равно ссылаются на эту партицию.
источник

M

Mi in Data Engineers
Anastasiya Esiunina
Всем привет, подскажите нормальна ли ситуация? При удалении директории - партиции в hdfs, после выполнения команды msck repair table в 3 версии Hive, внешняя или Managed таблица все равно ссылаются на эту партицию.
Msck вроде только добавляет новые партиции, старые не удаляет
источник

‌‎ in Data Engineers
Anastasiya Esiunina
Всем привет, подскажите нормальна ли ситуация? При удалении директории - партиции в hdfs, после выполнения команды msck repair table в 3 версии Hive, внешняя или Managed таблица все равно ссылаются на эту партицию.
Надо удалить директорию
источник

A

Alexander in Data Engineers
Anastasiya Esiunina
Всем привет, подскажите нормальна ли ситуация? При удалении директории - партиции в hdfs, после выполнения команды msck repair table в 3 версии Hive, внешняя или Managed таблица все равно ссылаются на эту партицию.
аналогично
источник

M

Mi in Data Engineers
Либо удалять манульно партицию из метастора, либо удалять все -> делать msck
источник

NI

Nikolay Ivanov in Data Engineers
Anastasiya Esiunina
Всем привет, подскажите нормальна ли ситуация? При удалении директории - партиции в hdfs, после выполнения команды msck repair table в 3 версии Hive, внешняя или Managed таблица все равно ссылаются на эту партицию.
в третьей версии вроде после msck repair table можно указать drop partitions и это решит проблему
источник