Еще вот такой вопрос. Копаю чужой код. В Mapper context вызван дважды
context.write(res1, val1);
context.write(res2, val2);
Как это понимать? В Reducer будет передан сплит из двух этих пар?

кстати даже ишша была
https://issues.apache.org/jira/plugins/servlet/mobile#issue/HADOOP-11890

Мы у себя запилили поддержку IPv6

Но только для Spark, правда

HDFS не пользуем. Якобы, в интернетах все IPv6 проблемы именно с HDFS

Оу, коллега, это объяснялось где-то в первой главе, что вы там читали.

Так... То есть отключить IPv6 просто?

Вы проверили коннект по IPv4?

Он работает?

оно просто работало?

Не, пришлось немного попинать

А что с ним было? Я думал тоже пустить ради эксперимента но времени не было

Да:

SortedMap-2:~ sortedmap$ telnet 127.0.0.1 50010
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

Connection closed by foreign host.

И пишет:

2019-12-01 20:41:50,361 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: fe629b2f12e9:50010:DataXceiver error processing unknown operation  src: /172.17.0.1:34164 dst: /172.17.0.2:50010
java.io.IOException: Version Mismatch (Expected: 28, Received: 3338 )
  at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOp(Receiver.java:69)
  at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:267)
  at java.lang.Thread.run(Thread.java:748)

Интересно, вы подключаетесь с того же интерфейса 192.168.0.3 или с другого?
Я не помню, как работает сеть в докере. =(

С того же

Детские болячки типа неправильного парсинга в разных утилитарных чекерах.

И в netstat исходящий адрес видно так же?

саундс лайк э перфект оппотунити законтрибутить в спарк

Да:

SortedMap-2:~ sortedmap$ netstat
Active Internet connections
Proto Recv-Q Send-Q  Local Address          Foreign Address        (state)    
tcp4       0      0  192.168.0.3.61624      localhost.50010        SYN_SENT