Size: a a a

Архитектура данных

2018 September 20

PG

Paul Golubev in Архитектура данных
Кто работал с data vault - поделитесь опытом плиз. Если нужен хаб физиков, то ключ у них это ИНН или СНИЛС. Но данные приходят из различных источников и часто ключей таких нет. У меня пока версия - генерить суррогат, а все остальное складывать в сателлит. Какие ещё есть варианты?
источник

RK

Roman Kolchin in Архитектура данных
Paul Golubev
Кто работал с data vault - поделитесь опытом плиз. Если нужен хаб физиков, то ключ у них это ИНН или СНИЛС. Но данные приходят из различных источников и часто ключей таких нет. У меня пока версия - генерить суррогат, а все остальное складывать в сателлит. Какие ещё есть варианты?
Независимо от модели — делайте суррогат, конечно.
источник

RK

Roman Kolchin in Архитектура данных
Реально укникальные клиенты, и то там будет скорее всего тоже свой сурогатный ключ, у вас могут появиться только после внедрения чего-то вроде этого https://hflabs.ru/uniform-client/.
источник

RK

Roman Kolchin in Архитектура данных
А пока советую не доверять "бизнес-ключам" из источников.
источник

PG

Paul Golubev in Архитектура данных
Ну да, получается можно пойти по стопам CDI, только с более примитивными правилами проверки. Спасибо
источник

PG

Paul Golubev in Архитектура данных
Все таки решил ИНН оставить в хабе как бизнес ключ, пусть даже не везде заполнен, насколько я понял, философия такая - хаб не может быть без бизнес ключа
источник

MV

Mitya Volodin in Архитектура данных
Paul Golubev
Все таки решил ИНН оставить в хабе как бизнес ключ, пусть даже не везде заполнен, насколько я понял, философия такая - хаб не может быть без бизнес ключа
По основному паттерну DV хаб должен быть один. Ключ может иметь разное наполнение, связь между одними и теми же людьми делается через SAL (Same As Link).
Но так бывает работать неудобно
источник

MV

Mitya Volodin in Архитектура данных
Если есть условие - что один обязательно заполнен, его можно сделать ключом, а ИНН вынести в хаб
источник

AU

Alexander Utyugov in Архитектура данных
Paul Golubev
Все таки решил ИНН оставить в хабе как бизнес ключ, пусть даже не везде заполнен, насколько я понял, философия такая - хаб не может быть без бизнес ключа
думать что ИНН уникален - ошибочно. СЛИНС - уникален, тоже ошибочно=)
источник

DT

Denis Troyan in Архитектура данных
Alexander Utyugov
думать что ИНН уникален - ошибочно. СЛИНС - уникален, тоже ошибочно=)
Как минимум из-за операционной ошибки, когда одному человеку заводят два разных аккаунта
источник

DT

Denis Troyan in Архитектура данных
А ещё ИП может быть с таким же инн, что и физик
источник

AU

Alexander Utyugov in Архитектура данных
есть списки дублированных ИНН (1 ИНН- два человека), и (2 ИНН- один человек)
источник

DT

Denis Troyan in Архитектура данных
Alexander Utyugov
есть списки дублированных ИНН (1 ИНН- два человека), и (2 ИНН- один человек)
Да, и ошибка налоговой тоже
источник

AU

Alexander Utyugov in Архитектура данных
вообще бизнес ключей на физ лицах можно делать, но ловить корнеркейсы - это больно
источник

PG

Paul Golubev in Архитектура данных
Да, ИНН не уникальны, но по закону должны. ИНН достать гораздо легче, чем СНИЛС, поэтому был сделан выбор в пользу ИНН :)
источник

PG

Paul Golubev in Архитектура данных
Denis Troyan
А ещё ИП может быть с таким же инн, что и физик
ИНН у ИП - такого нет. Это иннфл
источник

MV

Mitya Volodin in Архитектура данных
Denis Troyan
А ещё ИП может быть с таким же инн, что и физик
Не может, у них количество цифр разное. Юрлица 10, а физики 12. Но если ошибки нет
источник

DT

Denis Troyan in Архитектура данных
Все же за уникальность клиентов должны отвечать отдельные сервисы
источник

MV

Mitya Volodin in Архитектура данных
Но в целом - это правильно :) это не очень хорошие ключи. Но если с ними приходится жить, то можно. Все равно в dv есть last seen и load date
источник

MV

Mitya Volodin in Архитектура данных
Denis Troyan
Все же за уникальность клиентов должны отвечать отдельные сервисы
В некоторых кейсах это невозможно.
источник