Д
За необходимую надежность платишь деньги.
Size: a a a
2020 July 29
AZ
Вы, насколько я понимаю, специалист по облакам. Как это решается, например, в s3?
для разных угроз разные механизмы, от MFA Delete и версионирования, до cross-region replication (там удаления в сорце транслируются в специальные маркеры в таргете)
N
мир не ограничен банками. транзакции не только в них. в убер тоже финансовые транзакции. в нетфликс тоже небесплатно кино показывают.
DT
мир не ограничен банками. транзакции не только в них. в убер тоже финансовые транзакции. в нетфликс тоже небесплатно кино показывают.
Ну там и постгреса хватит, что бы кино показывать
DT
вот рекомендовать это другое дело
Д
мир не ограничен банками. транзакции не только в них. в убер тоже финансовые транзакции. в нетфликс тоже небесплатно кино показывают.
Но финасовые транзакции юбера и нетфликс идут то через банки, а палка одна из больших потребителей оракла.
SS
коллеги. здравствуйте!
подскажите, как вы пишете юнит-тесты на свои spark structured streaming джобы?
по канону вроде как надо разбивать джобу на стадии read, transform, write - и тестировать каждую отдельно.
а если у меня джоба джойнит несколько стримов?
подскажите, как вы пишете юнит-тесты на свои spark structured streaming джобы?
по канону вроде как надо разбивать джобу на стадии read, transform, write - и тестировать каждую отдельно.
а если у меня джоба джойнит несколько стримов?
2020 July 30
AS
Надежност на 2 странице.
прямо как у garmin
ЮЗ
Если будешь отдельно копировать бд метастора, а затем hdfs, получишь разбег данных, мы это уже проходили. Локтикусали сильно .... сейчас делаем export table и копирование hdfs, но нам это надо при переезде на другой кластер.
А что конкретно разъезжается в первом случае? Схемы таблиц?
Д
Юрий Зенин
А что конкретно разъезжается в первом случае? Схемы таблиц?
Метаданные, с фактическими данными, кажлый раз натыкался. При export table, такое случается более редко, на моей практике ни разу. Но теоретически возможно.
A
Привет! Сегодня обнаружил в логах работающей всю ночь спарк джобы такой экспепшин - "Spark java.io.IOException: All datanodes are bad. Aborting.." Запускаю на AWS EMR. На Resource Manager url зайти не могу. не отвечает. Как лечить такое ?
S
либо вы строите процессы так, что один уставший админ может остановить цод, либо его на этом пути остановит несколько кордонов.
сразу видно, что далеко от мира опсов :)
хотя бы один раз в жизни опс путает консоли серверов разных энвов например )
хотя бы один раз в жизни опс путает консоли серверов разных энвов например )
S
и хорошо, если это было на прошлой работе :)
R
Всем привет, стало интерсно, а почему при инсерте, спакр вставляет не по именам, а по номерам слолбцов? Он же все равно падает с ошибкой, если есть одинаковые названия
DZ
Всем привет, стало интерсно, а почему при инсерте, спакр вставляет не по именам, а по номерам слолбцов? Он же все равно падает с ошибкой, если есть одинаковые названия
Насколько я помню это связано с кодгеном
N
Насколько я помню это связано с кодгеном
Значит ли это ,что до того , как появился кодген это было иначе ?
DZ
Низнаю
N
Я бы не стал это связывать с кодогенерацией. Это если и связанно с чем-то , то с jdbc.
N
У кого код Спарка под рукой . Посмотрите в исходниках. Как он insert формирует при вставке.
GP
Низнаю
может они просто имена колонок не выдергивают и просто перечисляют все что вставить