В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2094 membersпожаловаться на группу
2020 December 09

R

Rodion in Data Engineers
Всем добрый вечер. Подскажите, знаете ли вы какие-то инструменты для нормализации данных?
Нужно таблицу csv мапить в граф => нормализовать к 3nf, не знаю как к задаче подступиться.
источник
20:42пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Всем добрый вечер. Подскажите, знаете ли вы какие-то инструменты для нормализации данных?
Нужно таблицу csv мапить в граф => нормализовать к 3nf, не знаю как к задаче подступиться.
duckdb + sql
источник
21:08пожаловаться#2

R

Rodion in Data Engineers
Anton Zadorozhniy
duckdb + sql
Предлагаете руками раскидывать?
источник
21:26пожаловаться#3

R

Roman in Data Engineers
Anton Zadorozhniy
duckdb + sql
Реально так хороша, как пишут о ней на её сайте?
источник
21:27пожаловаться#4

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Предлагаете руками раскидывать?
SQL написать можно
источник
21:56пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Roman
Реально так хороша, как пишут о ней на её сайте?
Мне очень понравилась
источник
21:57пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
https://www.thoughtworks.com/radar/platforms?blipid=202010028
Thoughtworks
DuckDB | Technology Radar | ThoughtWorks
This Technology Radar quadrant explores the platforms that are critical in software development
источник
21:58пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Предлагаете руками раскидывать?
Но вы лучше уточните вопрос: в какой платформе, где должны 3НФ таблицы оказаться
источник
22:06пожаловаться#8

R

Rodion in Data Engineers
Anton Zadorozhniy
Но вы лучше уточните вопрос: в какой платформе, где должны 3НФ таблицы оказаться
Да, действительно не очень четко сформулировал:
1. Хочется табличные данные из файла(csv) превращать в полный связный граф
2. В моем понимании это есть один из вариантов процесса приведения данных к 3нф.
3. Засовывать енто в любую рел-бд как набор результирующих табличек,


Платформа - линукс (если верно понял вопрос)
Таблицы руками я могу нормализовать, но хорошо бы это делать автоматически.
источник
22:15пожаловаться#9

NB

Nikita Bakanchev in Data Engineers
А как ты нормализовать собрался без функциональных зависимостей?
источник
22:26пожаловаться#10

NB

Nikita Bakanchev in Data Engineers
это же только на очень большой выборке можно автоматизировать
источник
22:26пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Да, действительно не очень четко сформулировал:
1. Хочется табличные данные из файла(csv) превращать в полный связный граф
2. В моем понимании это есть один из вариантов процесса приведения данных к 3нф.
3. Засовывать енто в любую рел-бд как набор результирующих табличек,


Платформа - линукс (если верно понял вопрос)
Таблицы руками я могу нормализовать, но хорошо бы это делать автоматически.
Так а информация о сущностях которые представлены в этом файле, их связях - она в каком то виде доступна?
источник
22:26пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
Каждая колонка это своя сущность и ее натуральный ключ? Сколько колонок столько и сущностей?
источник
22:28пожаловаться#13

R

Rodion in Data Engineers
Anton Zadorozhniy
Каждая колонка это своя сущность и ее натуральный ключ? Сколько колонок столько и сущностей?
Да, колонка = сущность.
источник
22:32пожаловаться#14

R

Rodion in Data Engineers
Nikita Bakanchev
А как ты нормализовать собрался без функциональных зависимостей?
фактически, строка и есть твоя функциональная зависимость.
источник
22:35пожаловаться#15

NB

Nikita Bakanchev in Data Engineers
Тут есть пример разбора в том числе и плоского файла http://www.cs.umd.edu/~abadi/papers/schemagen-sigmod16.pdf, но это академический пейпер
источник
22:46пожаловаться#16

R

Rodion in Data Engineers
Nikita Bakanchev
Тут есть пример разбора в том числе и плоского файла http://www.cs.umd.edu/~abadi/papers/schemagen-sigmod16.pdf, но это академический пейпер
класс, спасибо!
(как раз сижу научные статьи читаю, окромя них не нашел ничего толкового)
источник
22:47пожаловаться#17

NB

Nikita Bakanchev in Data Engineers
Но вообще мне кажется есть инструменты которые это делают сам, но опять же тебе нужна очень большая выборка
источник
22:51пожаловаться#18

NB

Nikita Bakanchev in Data Engineers
так как на маленькой выборке у тебя сформируются ошибочные зависимости
источник
22:51пожаловаться#19

NB

Nikita Bakanchev in Data Engineers
если я правильно понимаю задачу, что у тебя на входе набор атрибутов (a1, .., an), а ты хочешь преобразовать это в набор сущностей (ak1, ak2, ak3)... (an1 an2) и т.п. в 3НФ
источник
22:54пожаловаться#20