Size: a a a

Обсуждения техдирские

2019 July 04

К

Кабак уровня /b/ in Обсуждения техдирские
Rustem Mannanov
На mssql до версии 16 в конструкции с «alwayson» репликой был  трабл с ограничением в 1 поток процесса наката лога транзакий на реплику = примерно 50 mbps лога в пике, вне зависимости от железа под ногами. В mssql 16 ситуация изменилась. Мы когда делали конструкции со стэндбаем для хранилища (olap+rolap) «на стеке микрософт» - упирались в это как блокирующий фактор, но сейчас вроде как не упираемся, со слов микрософта сейчас оно где-то в районе 500 Мбайт/сек, не проверял.
да с 16 студии микрософт завезли много хороших штук для скейлинга
источник

RM

Rustem Mannanov in Обсуждения техдирские
Dmitry Simonov
Коллеги! А кто-то занимался аналитическими системами? Там вообще есть понятие при ETL для зон с "грязной" информаций и "чистой"? Я имею в виду не столько разделение raw данных и структурированных, сколько модерацию полученной информации.
Как правило - есть, но проектирование архитектуры хранилища (логика/данные)под эти задачи - непростая история поиска баланса между рисками/расходами/задержками/требованиями. Простого ответа на этот вопрос нет)
источник

RM

Rustem Mannanov in Обсуждения техдирские
Dmitry Simonov
Коллеги! А кто-то занимался аналитическими системами? Там вообще есть понятие при ETL для зон с "грязной" информаций и "чистой"? Я имею в виду не столько разделение raw данных и структурированных, сколько модерацию полученной информации.
Если Модерация = Data Quality/Data Governance, то её «как процесс» обычно делают «подальше» от слоя оперативного хранения.
источник

RM

Rustem Mannanov in Обсуждения техдирские
Иначе тупо наступаются грабли - инструмент DG хочет выборку/модификации схемы / ещё какую-то хрень, а на слое «реплик» это делать или костыльно или надо трогать источники.
источник

ИП

Иван Повстен in Обсуждения техдирские
Dmitry Simonov
Коллеги! А кто-то занимался аналитическими системами? Там вообще есть понятие при ETL для зон с "грязной" информаций и "чистой"? Я имею в виду не столько разделение raw данных и структурированных, сколько модерацию полученной информации.
ETL уберет технические и грубые ошибки, может убрать часть алгоритмических, дальше кто во что горазд
источник

ИП

Иван Повстен in Обсуждения техдирские
в идеале у тебя выстраиваетяс конвейр
источник

DS

Dmitry Simonov in Обсуждения техдирские
Коллеги! А у кого-то есть опыт работы со СМЭВ3?
источник

ИП

Иван Повстен in Обсуждения техдирские
спрашивай
источник

DS

Dmitry Simonov in Обсуждения техдирские
Иван Повстен
спрашивай
В личку
источник

AS

Andrey Shetukhin in Обсуждения техдирские
Сижу в налоговой. Рядом мужик, у которого ДВА ИНН и ПОЭТОМУ ДВЕ машины и ДВЕ квартиры. И он на измене.

Что вы знаете о нашей налоговой и консистентности данных!
источник

ИП

Иван Повстен in Обсуждения техдирские
Andrey Shetukhin
Сижу в налоговой. Рядом мужик, у которого ДВА ИНН и ПОЭТОМУ ДВЕ машины и ДВЕ квартиры. И он на измене.

Что вы знаете о нашей налоговой и консистентности данных!
а вот было бы у него три машины и две с половиной квартиры - что бы он дела?
источник

AG

Andrew 🤔 Gryaznov in Обсуждения техдирские
Andrey Shetukhin
Сижу в налоговой. Рядом мужик, у которого ДВА ИНН и ПОЭТОМУ ДВЕ машины и ДВЕ квартиры. И он на измене.

Что вы знаете о нашей налоговой и консистентности данных!
о_О
источник

Т

Товарищ Паркинсон in Обсуждения техдирские
если бы к каждому новому ИНН прилагалась также реальная копия дома и машины, эх...
источник

Т

Товарищ Паркинсон in Обсуждения техдирские
хотя как у него 2 ИНН вообще интересно
источник

R

Raven in Обсуждения техдирские
Andrey Shetukhin
Сижу в налоговой. Рядом мужик, у которого ДВА ИНН и ПОЭТОМУ ДВЕ машины и ДВЕ квартиры. И он на измене.

Что вы знаете о нашей налоговой и консистентности данных!
Со мной работает человек, у которого с его отцом до недавних пор был один ИНН на двоих.
Потому что ФИО одинаковое и прописаны по одному адресу :)
И работают в одной компании
источник

ИП

Иван Повстен in Обсуждения техдирские
был бы он математиком - у него было бы pi машин и e квартир!
источник

IM

Igor Myzgin in Обсуждения техдирские
Raven
Со мной работает человек, у которого с его отцом до недавних пор был один ИНН на двоих.
Потому что ФИО одинаковое и прописаны по одному адресу :)
И работают в одной компании
д - дедупликация!!!
источник

AS

Andrey Shetukhin in Обсуждения техдирские
Иван Повстен
а вот было бы у него три машины и две с половиной квартиры - что бы он дела?
Да я хз, мне тут за год налогов на 420 тысяч взяли больше чем надо, пытаюсь отбить обратно. Хз, получится, или нет
источник

ИП

Иван Повстен in Обсуждения техдирские
Andrey Shetukhin
Да я хз, мне тут за год налогов на 420 тысяч взяли больше чем надо, пытаюсь отбить обратно. Хз, получится, или нет
главное - выйти без наручников!
источник

AS

Andrey Shetukhin in Обсуждения техдирские
Иван Повстен
главное - выйти без наручников!
Ну, я везучий в вопросах отвертеться от цугундера
источник