Size: a a a

2021 March 31

ЕГ

Евгений Глотов... in Data Engineers
Если никто не знает, как настроить фичу, чтоб она заработала, значит можно сказать, что она не работает)
источник

PK

Pavel Klemenkov in Data Engineers
Nikolay
В трай не будет постфиксных чтений быстрых.
Я об этом и написал
источник

N

Nikita Blagodarnyy in Data Engineers
Nikita Blagodarnyy
Граждане, а что надо сделать с алиасом HA HDFS, чтобы другие сервисы его могли видеть по URI? Чтобы вот хуе мог работать с http://my_very_ha_fs:8020
@ZeratulZ @Mtonez не помните?
источник

ЕГ

Евгений Глотов... in Data Engineers
Вообще это должно быть где-то вот прям в дефолте зашито - поднимаем ha - поднимаем ha proxy
источник

РА

Рамиль Ахмадеев... in Data Engineers
Nikita Blagodarnyy
Граждане, а что надо сделать с алиасом HA HDFS, чтобы другие сервисы его могли видеть по URI? Чтобы вот хуе мог работать с http://my_very_ha_fs:8020
он просто прописан должен быть на hdfs’е, а потом тебе надо подложить правильные hdfs-site.xml в хью
источник

AA

Aleksandr Aleksandro... in Data Engineers
Nikita Blagodarnyy
Не, оно точно как-то из коробки работает, только я не знаю как. Обычно это ходуп инженеры всё настраивали, а ямл программисты не умеют.
Надо просто в hdfs-site.xml прописать чёт типо такого

<property>
    <name>dfs.nameservices</name>
    <value>testcl</value>
  </property>
  <property>
  <property>
    <name>dfs.client.failover.proxy.provider.testcl</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
   <property>
    <name>dfs.ha.namenodes.testcl</name>
    <value>namenode1,namenode2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.testcl.namenode1</name>
    <value>server1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.testcl.namenode1</name>
    <value>server1:8022</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.testcl.namenode1</name>
    <value>server1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.testcl.namenode1</name>
    <value>server1:50470</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.testcl.namenode2</name>
    <value>server2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.testcl.namenode2</name>
    <value>server2:8022</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.testcl.namenode2</name>
    <value>server2:50070</value>
  </property>
  <property>
    <name>dfs.namenode.https-address.testcl.namenode2</name>
    <value>server2:50470</value>
  </property>
источник

/

/warn in Data Engineers
Здрасвуйте. Подскажите, может у кого больше опыта. Есть какфка + debezium. С виду все работает, но в базе получаю что active - false. Может кто подскажет где и что глянуть?(пс я только админ который эту кафку ставит)
источник
2021 April 01

A

Alex in Data Engineers
Nikita Blagodarnyy
Граждане, а что надо сделать с алиасом HA HDFS, чтобы другие сервисы его могли видеть по URI? Чтобы вот хуе мог работать с http://my_very_ha_fs:8020
Поставить knox и не ипатьса :)
источник

A

Alex in Data Engineers
Причём можно поставить несколько инстансов его и за одним именем скрыть, получится ещё и на нем ha
источник

OS

Oleg Strekalov in Data Engineers
Добрый день!
Подскажите пожалуйста, пытаюсь установить Hadoop и столкнулся со следующими ошибками, возникают при попытке запуска NameNode и DataNode демонов.. никак не могу понять, как это решить.. если кто-либо встречал, прошу помочь!
OS AstraLinuxCE 2.12 orel
openjdk version 1.8.0
hadoop 3.1.3

ERROR   org.apache.hadoop.hdfs.server.datanode.DataNode: RECIEVED SIGNAL 1: SIGHUP
ERROR   org.apache.hadoop.hdfs.server.datanode.DataNode: RECIEVED SIGNAL 15:SIGTERM
источник

N

Nikita Blagodarnyy in Data Engineers
Oleg Strekalov
Добрый день!
Подскажите пожалуйста, пытаюсь установить Hadoop и столкнулся со следующими ошибками, возникают при попытке запуска NameNode и DataNode демонов.. никак не могу понять, как это решить.. если кто-либо встречал, прошу помочь!
OS AstraLinuxCE 2.12 orel
openjdk version 1.8.0
hadoop 3.1.3

ERROR   org.apache.hadoop.hdfs.server.datanode.DataNode: RECIEVED SIGNAL 1: SIGHUP
ERROR   org.apache.hadoop.hdfs.server.datanode.DataNode: RECIEVED SIGNAL 15:SIGTERM
Ого, где-то Астралинукс есть
источник

N

Nikita Blagodarnyy in Data Engineers
Ну тушит его кто-то. Никакого селинукса не включено?
источник

OS

Oleg Strekalov in Data Engineers
так сложилось( других ошибок предшествующих значимых в логах нет.. если есть предложения откуда копать, буду рад
источник

N

Nikita Blagodarnyy in Data Engineers
Oleg Strekalov
так сложилось( других ошибок предшествующих значимых в логах нет.. если есть предложения откуда копать, буду рад
источник

OS

Oleg Strekalov in Data Engineers
Call From ***/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException
источник

N

Nikita Blagodarnyy in Data Engineers
Ищите где сеть шалит
источник

N

Nikita Blagodarnyy in Data Engineers
Суд по астралинуксу у вас небось и сетевая безопасность не баран начхал
источник

NN

No Name in Data Engineers
Nikita Blagodarnyy
Суд по астралинуксу у вас небось и сетевая безопасность не баран начхал
Я бы посмотрел, как чихает баран
источник

OS

Oleg Strekalov in Data Engineers
Nikita Blagodarnyy
Ищите где сеть шалит
спасибо, это уже хоть что то!
источник

M

Michael in Data Engineers
Добрый вечер.
Подскажите, пожалуйста, по запуску spark версии 3.1.1 на Ubuntu.
источник