AS
ты пишешь в эластик, чем пишешь? 5 шардов на одной машине, на разных? Экзекютеры на других машинах?
что значит долго, что говорит мониторинг эластика?
что значит долго, что говорит мониторинг эластика?
Size: a a a
2021 June 17
Н
не, я гружу из эластика на hdfs
ПБ
А можно сделать индекс по датам?
Н
все на разных машинах
Н
я и гружу по датам
AZ
больше шардов и больше экзекьюторов, другого решения нет
AZ
в целом это очень плохой паттерн, там когда эластик под нагрузкой или перестраивает чего будет совсем весело
AZ
лучше всего читать спарком из того места откуда у вас индекс наливается
Н
понятно, спасибо
Н
а что значит откуда индекс наливается не понял
Н
я просто не мейнтейню эластик и не знаю как он работает
ПБ
Т.е. 1 экзекутор=1 дата?
Н
у индекса название типа logstash-2020-01-01
Н
5 экзекьюторов качают из этого индекса
AS
а как качаешь, это запрос какой-то?
смотри нагрузку на эластик, можно увеличить число экзекютеров
смотри нагрузку на эластик, можно увеличить число экзекютеров
МК
я делал через файлы: эластик выгружает окнами в файлы, я гружу из файлов спарком в HDFS, было не очень быстро, но надежно и управляемо
МК
по объему были данные за несколько лет, по миллиону записей в день, запись по 400+ полей
МК
но это разово (перегрузил и забыл), поэтому так и сделал (перегрузил и забыл 😊)
AS
Всем привет!
Ни у кого в закромах Родины не осталось реп hdp-2.6.1/2.6.3?
Ни у кого в закромах Родины не осталось реп hdp-2.6.1/2.6.3?
AZ
Эластик это индекс просто, обычно он наливается из какого-то нормального процесса или стораджа (который не разваливается)