Не совсем про это, у вас в команде/компании есть промышленный опыт развертывания и поддержки Кассандры или HBase

Вообще чот мне кажется что PG на норм железе легко разогнать до 15К апсертов

У нас такое решается на apache beam с группировкой по ключу в вашем случае город

Ну и окно временное поставить чтоб дубли редьюсить

А потом по ключу складывает в kv хранилище?

Мы в бигквери складываем

Как строку

Наваливайте в какую-нибудь очередь, забирайте оттуда с комфортным рейтом.

Дальше дедуплицируйте. Хоть по индексу в ms sql.

Всем привет. Подскажите какие пути есть для перекладывания из одного hive в другой(на другом удал серваке). Пока только есть идея чз spark по jdbc пачки получать и сохранять

файлами

‘’’import org.elasticsearch.spark.sql._
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
val sparkConf = new SparkConf().set("es.index.auto.create", "true").set("es.port", "9200").set("es.nodes", "arm-elastic-1-vm.dev.ix.km")
val sparkSession = SparkSession.builder.config(sparkConf).appName("WriteToES").getOrCreate()
val df = sparkSession.read.format("json").json("/tmp/Gold_record.json")
df.saveToEs("spark/GR")
‘’’

вылетает ошибка : org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only'

Подскажите может кто сталкивался \ как решали?arm-elastic-1-vm.dev.ix.km")
val sparkSession = SparkSession.builder.config(sparkConf).appName("WriteToES").getOrCreate()
val df = sparkSession.read.format("json").json("/tmp/Gold_record.json")
df.saveToEs("spark/GR")
‘’’

вылетает ошибка : org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only'

Подскажите может кто сталкивался \ как решали?

а доступен с машины эластик по адресу такому?

Доступен, по ssh

а 9200 порт?

А как это проверить?

telnet

)

или нетстат)

Эм... с удаленной машины на другую отправить запрос вида telnet user@ip:9200?