Size: a a a

2019 October 21

A4

Anon 43 in Data Engineers
Почему не работает?

public class IntSumReducer extends Reducer<Text,Text,Text,IntWritable> {
   private IntWritable result = new IntWritable();
   public void reduce(Text key, Text values, Context context) throws IOException, InterruptedException {
   String[] items = values.split(";");
   int a = Integer.parseInt(items[0], 10);
   int b = Integer.parseInt(items[1], 10);
   int c = Integer.parseInt(items[2], 10);
   int sum = (2 * a * b) * Math.abs(c + (4 * a));
 result.set(sum);
 context.write(key, result);
   }
}
источник

A4

Anon 43 in Data Engineers
Результат map правильный
источник

GP

Grigory Pomadchin in Data Engineers
Anon 43
Почему не работает?

public class IntSumReducer extends Reducer<Text,Text,Text,IntWritable> {
   private IntWritable result = new IntWritable();
   public void reduce(Text key, Text values, Context context) throws IOException, InterruptedException {
   String[] items = values.split(";");
   int a = Integer.parseInt(items[0], 10);
   int b = Integer.parseInt(items[1], 10);
   int c = Integer.parseInt(items[2], 10);
   int sum = (2 * a * b) * Math.abs(c + (4 * a));
 result.set(sum);
 context.write(key, result);
   }
}
Text.split точно строки возвращает?
а вообще отлично отдебажить можно принтами) принтани что ты парсишь
источник

GP

Grigory Pomadchin in Data Engineers
parseInt чувситвельная функция; отсутпы пробелы не уберешь - Оно ничего не распарсит
источник

A4

Anon 43 in Data Engineers
Anon 43
Результат map правильный
это кстати файл part-r- , судя по "r" он все-таки прошел reduce?
источник

GP

Grigory Pomadchin in Data Engineers
да; r редьюсеры плодят
источник

GP

Grigory Pomadchin in Data Engineers
принтани что ты пишешь в результат
источник

GP

Grigory Pomadchin in Data Engineers
интересно)
источник

A4

Anon 43 in Data Engineers
Grigory Pomadchin
принтани что ты пишешь в результат
system.out.println? А куда выводится? В консоли не видно
источник

A4

Anon 43 in Data Engineers
может быть надо строку добавить от себя, вдруг там пустоту возвращает
источник

GP

Grigory Pomadchin in Data Engineers
Anon 43
system.out.println? А куда выводится? В консоли не видно
а ты как сабмитишь Джобы?
источник

A4

Anon 43 in Data Engineers
Grigory Pomadchin
а ты как сабмитишь Джобы?
в консоли командой hadoop jar и т.д.
источник

GP

Grigory Pomadchin in Data Engineers
Anon 43
в консоли командой hadoop jar и т.д.
по-моему можно посмотреть тут
http://localhost:50030/jobtracker.jsp
источник

GP

Grigory Pomadchin in Data Engineers
принты туда валятся
источник

A4

Anon 43 in Data Engineers
Grigory Pomadchin
по-моему можно посмотреть тут
http://localhost:50030/jobtracker.jsp
ок
источник

A4

Anon 43 in Data Engineers
Grigory Pomadchin
по-моему можно посмотреть тут
http://localhost:50030/jobtracker.jsp
не открывается. Но вот такое нашел в YARN. Тут можно наверное смотреть лог?
источник

GP

Grigory Pomadchin in Data Engineers
Anon 43
не открывается. Но вот такое нашел в YARN. Тут можно наверное смотреть лог?
Тыкай по Хистори
источник

A

Alex in Data Engineers
И там уже будут логи и по мэперу и по редьюсеру, но вообще

https://www.infoq.com/articles/HadoopMRUnit/
источник

A

Alex in Data Engineers
Насколько помню уже в хадупе для юнит тестов запуск и сабмит в in jvm мод есть, там же и брекпоинты можешь ставить
источник

A

Alex in Data Engineers
источник