MV
Частый кейс - есть ИНН и Наименование юрлица. И все, остальное - ручной ввод
Size: a a a
2018 September 20
MV
Можно по базе налоговой вычислять недостающую информацию
MV
Можно по открытым ресурсам валидировать некоторые
MV
Можно купить доступ в спарк :)
PG
У ИП и юл ключ это ОГРН, а не ИНН
MV
Ну тут сэйм шит, от ошибок все равно никто не застрахован
MV
Если источник информации не проводит контроль качества данных, то все равно придется закладываться на ошибки
MV
И кстати, fyi, не думаю, что это бомбанет с базой юл, но для хабов с миллиардами значений опасно использовать некоторые виды хэшэй
RK
Все же за уникальность клиентов должны отвечать отдельные сервисы
Спорно. Вот тут хорошо разобрано на примере CRM https://blog.hflabs.ru/pochiemu-v-siebel-crm-nie-poluchaietsia-viesti-iedinuiu-bazu-kliientov/. Написано людьми заинтересованными в продаже своего CDI решения, но доводы очень разумные имхо.
e
Спорно. Вот тут хорошо разобрано на примере CRM https://blog.hflabs.ru/pochiemu-v-siebel-crm-nie-poluchaietsia-viesti-iedinuiu-bazu-kliientov/. Написано людьми заинтересованными в продаже своего CDI решения, но доводы очень разумные имхо.
Тоже твои клиенты на пресейл 😂?
RK
Тоже твои клиенты на пресейл 😂?
Нет. Я ж когда-то MDM занимался. Имею представление ху из ху.
AU
Не может, у них количество цифр разное. Юрлица 10, а физики 12. Но если ошибки нет
У предпринимателя используется ИНН физика который предприниматель.
То есть клиент физик и этот же физик пришедший как ИП будут иметь один ИНН, а фактически это два клиента. Физик и ИП (перефизик - неодоорганизация)
То есть клиент физик и этот же физик пришедший как ИП будут иметь один ИНН, а фактически это два клиента. Физик и ИП (перефизик - неодоорганизация)
AU
Да, ИНН не уникальны, но по закону должны. ИНН достать гораздо легче, чем СНИЛС, поэтому был сделан выбор в пользу ИНН :)
Строгость закона ... в общем
Учитывайте разболбайство на стороне ФНС + 3-5% ошибок ручного ввода на фронтах (контрольные суммы редко считают)
И умножаем на цену ошибки.
Если это работа тех поддержки это одна сумма, а если это взаимный доступ к банковским счетам - то сумма другого порядка.
Учитывайте разболбайство на стороне ФНС + 3-5% ошибок ручного ввода на фронтах (контрольные суммы редко считают)
И умножаем на цену ошибки.
Если это работа тех поддержки это одна сумма, а если это взаимный доступ к банковским счетам - то сумма другого порядка.
2018 October 11
e
Presentations from ClickHouse Meetup in Paris have been published:
https://yandex.github.io/clickhouse-presentations/meetup18/1_introduction.pptx
https://yandex.github.io/clickhouse-presentations/meetup18/2_contentsquare.pdf
https://yandex.github.io/clickhouse-presentations/meetup18/3_storetail.pptx
https://yandex.github.io/clickhouse-presentations/meetup18/4_pragma_innovation.pdf
https://yandex.github.io/clickhouse-presentations/meetup18/5_new_features/
https://yandex.github.io/clickhouse-presentations/meetup18/1_introduction.pptx
https://yandex.github.io/clickhouse-presentations/meetup18/2_contentsquare.pdf
https://yandex.github.io/clickhouse-presentations/meetup18/3_storetail.pptx
https://yandex.github.io/clickhouse-presentations/meetup18/4_pragma_innovation.pdf
https://yandex.github.io/clickhouse-presentations/meetup18/5_new_features/
MV
2018 October 19
MV
Коллеги, всем привет!
Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama
Буду признателен за отзывыв, особенно по двум последним
Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama
Буду признателен за отзывыв, особенно по двум последним
2018 November 12
ПБ
коллеги, добрый день
посоветуйте, пожалуйста, стоящую литературу по построению хранилищ данных
есть практическая задача: перевести несколько массивов данных из access/excel в некую единую систему, попутно сформулировать методологию в части:
1. ввода первичных данных
2. хранения их в таблицах
3. преобразования
4. сбора отчетности
посоветуйте, пожалуйста, стоящую литературу по построению хранилищ данных
есть практическая задача: перевести несколько массивов данных из access/excel в некую единую систему, попутно сформулировать методологию в части:
1. ввода первичных данных
2. хранения их в таблицах
3. преобразования
4. сбора отчетности
MV
коллеги, добрый день
посоветуйте, пожалуйста, стоящую литературу по построению хранилищ данных
есть практическая задача: перевести несколько массивов данных из access/excel в некую единую систему, попутно сформулировать методологию в части:
1. ввода первичных данных
2. хранения их в таблицах
3. преобразования
4. сбора отчетности
посоветуйте, пожалуйста, стоящую литературу по построению хранилищ данных
есть практическая задача: перевести несколько массивов данных из access/excel в некую единую систему, попутно сформулировать методологию в части:
1. ввода первичных данных
2. хранения их в таблицах
3. преобразования
4. сбора отчетности
Если данных мало, и так и будет, или данных много но процессов мало и они понятные, то можно посмотреть на Dimensional Modeling от Kimball’a