AZ
запустить спарк на кубах, сложить все в с3 и гордиться, что у тебя серверлесс!
так серверлесс это же не кубы и с3, это менеджмент и (даже больше) финансовая модель
Size: a a a
2020 January 30
АЖ
так серверлесс это же не кубы и с3, это менеджмент и (даже больше) финансовая модель
поэтому и колобок
AZ
поэтому и колобок
я видимо не понимаю молодежный жаргон.. а как вы симулировать bigquery/redshift spectrum хотите?
АЖ
я видимо не понимаю молодежный жаргон.. а как вы симулировать bigquery/redshift spectrum хотите?
Колобок - это стикер :) а стикер потому что я глумлюсь
ME
не, ну это и на спарк можно натянуть
AWS Glue!)
Ж
Всем привет. Нужна помощь. Запускаю spark-submit локально на мастер ноде aws emr. Все валится. В логах пишет все время:org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/hbaseid
Ж
Джоб должен подключаться к hbase. Судя по логам пытается локально на экзекьбторе найти зукипер :20/01/30 16:18:55 WARN ReadOnlyZKClient: 0x334f9b75 to localhost:2181 failed for get of /hbase/hbaseid, code = CONNECTIONLOSS, retries = 30, give up
Ж
Запустил снова спарк сабмит и в комманде прописал в - - files все xml конфиги через запятую
GP
очевидно, что чет не так с HBase конфигами)
Ж
Там зукипер кворум верно прописан
AS
Жмака
Джоб должен подключаться к hbase. Судя по логам пытается локально на экзекьбторе найти зукипер :20/01/30 16:18:55 WARN ReadOnlyZKClient: 0x334f9b75 to localhost:2181 failed for get of /hbase/hbaseid, code = CONNECTIONLOSS, retries = 30, give up
точно должно быть localhost?
Ж
Нет. В том то и загвоздка. Что он стучится локально к зукиперу которого на кор нодах соответственно нет. Не пойму где прошляпил
DG
Там вроде какой то параметр был, чтобы указать zk quorum, если он указан, значит где-то теряется. Могу предположить, что в executor при старте надо добавить конфиг в cp.
Ж
Какой параметр? Где и как добавить?
RI
Смотри zk quorum
DG
hbase.zookeeper.quorum. Он должен вообще браться из env в кластере. Например в хадупе его надо прописать на всех нодах кластера а hbase-site.xml.
Ж
Он прописан в hbase-site.xml и даже в hive-site.xml
S
А как в Flink подсунуть джобе значение hbase.zookeeper.qourum? Пока только в ресурсах джобы получается xml файл держать..получается что адрес захардкожен в jar-нике
2020 January 31
DG
Жмака
Он прописан в hbase-site.xml и даже в hive-site.xml
Значит этот конфиг "не виден" executor, посмотрите попадает ли он в cp через ui, например. А если виден, тогда он где-то перетирается.
Ж
Значит этот конфиг "не виден" executor, посмотрите попадает ли он в cp через ui, например. А если виден, тогда он где-то перетирается.
Вопрос как проверить? 🤔