AZ
Mikhail
При использовании S3 напрямую можно поиметь проблемы с консистентностью, т.к. обжект стор eventually consistent.
s3guard / emrfs вроде никто не отменял
Size: a a a
2019 November 27
R
поэтому на практике он туда время от времени заглядывает, и мы не испытывали проблем с консистентностью при батчах каждую минуту, например
M
Emrfs сильно увеличивает косты использования EMR при большом потоке
M
Есть ещё вариант подмапить EFS и чекпоинтить туда
AZ
в смысле из-за костов за динаму?
M
Да, много риквестов генерится на динамо/s3
AZ
ну вам надо целостно, это не бесплатно
M
Может кто заморачивался с вариантом на efs или кастомным вариантом с hdfs + периодической репликацией на s3?
M
И таки да, очень странно, что в спарке при сохранении чекпоинтов в s3 до сих пор используется код стандартного hdfs подхода (с темп директорией и последующим переименованием).
СХ
Mikhail
Да, много риквестов генерится на динамо/s3
динамо стоит космос
RI
Коллеги! Подскажите. Есть таблица в phoenix(5.0) hbase 2.0. фильтр вида
column like 'х%' выдает условно 50 строк, фильтр вида column like 'х%' AND column2 = 'abc' выдает 100 строк. Обновление статистики делал. Вопрос, что не так с фениксом?AE
Mikhail
Может кто заморачивался с вариантом на efs или кастомным вариантом с hdfs + периодической репликацией на s3?
если кто и заморачивался, он об этом молчит как партизан.
тоже, блин, приходится костылить с гонянием терабайтов туда-сюда. s3-dist-cp — жуткое говно. emrfs из-за динамы стоит конских денег. что делать — хз.
тоже, блин, приходится костылить с гонянием терабайтов туда-сюда. s3-dist-cp — жуткое говно. emrfs из-за динамы стоит конских денег. что делать — хз.
M
если кто и заморачивался, он об этом молчит как партизан.
тоже, блин, приходится костылить с гонянием терабайтов туда-сюда. s3-dist-cp — жуткое говно. emrfs из-за динамы стоит конских денег. что делать — хз.
тоже, блин, приходится костылить с гонянием терабайтов туда-сюда. s3-dist-cp — жуткое говно. emrfs из-за динамы стоит конских денег. что делать — хз.
Беда. Если найдешь красивое решение - черкни.
ME
Кто-то использовал в AWS Step Functions? Оно удобнее Airflow для облака?
ME
Тут недавно люди спрашивали про s3 compatible object storage implementation
Я забыл сказать что еще есть https://hadoop.apache.org/ozone/docs/0.4.1-alpha/
Я забыл сказать что еще есть https://hadoop.apache.org/ozone/docs/0.4.1-alpha/
ME
Но он пока в инкубаторе:)
UD
если будет быстрее цефа это вин
R
Тут недавно люди спрашивали про s3 compatible object storage implementation
Я забыл сказать что еще есть https://hadoop.apache.org/ozone/docs/0.4.1-alpha/
Я забыл сказать что еще есть https://hadoop.apache.org/ozone/docs/0.4.1-alpha/
ого, вот это выглядит как прикольная штучка
R
кстати вопрос - а minio (который типа opensource S3) - там такая же проблема с консистентностью?
A
Всем привет. Подскажите, чем пользуетесь для тестирования спарк приложений на скале. Есть ли какие-то альтернативы этому?
https://github.com/holdenk/spark-testing-base
https://github.com/holdenk/spark-testing-base