В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 22

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
мы предполагаем юзать hdfs как cold storage и крутить там периодически тяжелые запросы
возможно накрутить Kudu для online отчетов различных, либо заюзать Ignite
разделить хранилища на различные слои хранения по потребностям бизнеса
эт вообще жесть, вам прям надо сильно вложится в опсовый тулинг
источник
15:43пожаловаться#1

AV

Alexandr Vladimirovi... in Data Engineers
Dmitry Zuev
Для быстрых отчётов нужены витрины и сервис леер типа ch
и я про то же, и давать общий интерфейс например через presto
под каждую задачу свое отдельное хранилище
источник
15:43пожаловаться#2

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
эт вообще жесть, вам прям надо сильно вложится в опсовый тулинг
я это понимаю
но лучше потоки данных и клиентов разводить по разным хранилкам, а то мы уже схватывать начинаем, когда всех в один сторож запихнули, теперь друг друга аффектят
источник
15:44пожаловаться#3

AV

Alexandr Vladimirovi... in Data Engineers
Dmitry Zuev
Для быстрых отчётов нужены витрины и сервис леер типа ch
и я про то же)
источник
15:44пожаловаться#4

AZ

Anton Zadorozhniy in Data Engineers
Renarde
а разве всякие minio не поддерживают всевозможное encryption (at-rest/in-transit)?
там есть auto-encryption, но оно страшно далеко по фичам от HTE; HTE позволяет тебе писать политики кто и когда получит ключи дешифрования и шифрования, например можно реализовать черный ящик, когда клиент получает только ключ шифрования и может туда писать, а читать не может
источник
15:46пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
Вообще какая-то безопасная безопасность
источник
15:47пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
ну и плюс аудируемо все, кто получал ключи дешифрования
источник
15:47пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
плюс в одном кластере можно делать сколько хочешь зон и каждая будет со своими ключами
источник
15:47пожаловаться#8

R

Renarde in Data Engineers
Anton Zadorozhniy
там есть auto-encryption, но оно страшно далеко по фичам от HTE; HTE позволяет тебе писать политики кто и когда получит ключи дешифрования и шифрования, например можно реализовать черный ящик, когда клиент получает только ключ шифрования и может туда писать, а читать не может
как-то нефункционально там все на этом baremetal 🙁
источник
15:48пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
и я про то же, и давать общий интерфейс например через presto
под каждую задачу свое отдельное хранилище
джоб секьюрити для архитекторов и опсов)
источник
15:49пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
Renarde
как-то нефункционально там все на этом baremetal 🙁
зато как функционально когда уперся в троттл AWS KMS, который один на целый AWS аккаунт)
источник
15:49пожаловаться#11

R

Renarde in Data Engineers
Anton Zadorozhniy
зато как функционально когда уперся в троттл AWS KMS, который один на целый AWS аккаунт)
а чего бы не порезать на суб-аккаунты через AWS Organizations?
источник
15:50пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
Renarde
а чего бы не порезать на суб-аккаунты через AWS Organizations?
да, это добавляет джоб секьюрити при управлении доступами между аккаунтами, а самое главное - когда все уже порезано и субаккаунт таки уперся какие у тебя решения?)
источник
15:51пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
извини, я троллю, просто к тому что у решения "все мои ключи держит вон тот парень" тоже полно функциональных недостатков
источник
15:52пожаловаться#14

R

Renarde in Data Engineers
Anton Zadorozhniy
да, это добавляет джоб секьюрити при управлении доступами между аккаунтами, а самое главное - когда все уже порезано и субаккаунт таки уперся какие у тебя решения?)
написать в AWS и заапскейлить KMS throughput, проверено практикой
источник
15:52пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
Renarde
написать в AWS и заапскейлить KMS throughput, проверено практикой
и что случается с твоим показателем даунтайма в этом момент?
источник
15:53пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
(я каждые два месяца эти инциденты завожу, что-то слышал про них)
источник
15:53пожаловаться#17

R

Renarde in Data Engineers
Anton Zadorozhniy
и что случается с твоим показателем даунтайма в этом момент?
ничего, на стороне AWS есть софтлок на rps в KMS, если ты крупный аккаунт (а раз есть проблема с пропускной способностью KMS, то вероятно не маленький), то тебе тот софтлок поднимают просто
источник
15:54пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Renarde
ничего, на стороне AWS есть софтлок на rps в KMS, если ты крупный аккаунт (а раз есть проблема с пропускной способностью KMS, то вероятно не маленький), то тебе тот софтлок поднимают просто
действительно, но это требует чтобы все твои орги были строго причесаны, и скажи мне что ты не видел просто левых оргов в крупном аккаунте, которые унаследованы, или просто заведены мимо гавернанса
источник
15:56пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
ну и потом этот софтлок тоже имеет пределы, спроси тут у нас одну фарму) (не маленькую)
источник
15:56пожаловаться#20