Товарищи, кто-то имел опыт с elassandra?

Знакомые гоняли в ажуре, вроде больших замечаний кроме иногда долгих перестроек индекса не ругали

Спасибо. Хочу попробовать в своём проекте, как зайдёт)

https://github.com/readonly18/word_count
Смотрю простой пример) кол-во слов, ну вы поняли. Не ясно как работает Reducer. После Mapper, как понял, будет словарь:
Собака 1
Корова 1
Собака 1
Лягушка 1

А в reducer свертка, т.е. Собаки объединятся, и будет
Собака 2
Корова 1
Лягушка 1

Но в reduce не вижу сравнения ключей на схожесть, только цикл со счетчиком
Кто-нибудь может подсказать как он работает?

В редьюсер попадают записи только с одним ключом

вот сигнатура метода reduce(Text key, Iterable<IntWritable> values, Context context)
здесь перечисление values, это все значения из словаря что-ли?

один ключ, и все значения словаря в метод попадут?

Да

Может быть попадут все values из словаря по ключу key?

иначе странно получается

стоп

что значит значения словаря

Вот словарь ключ => значение
Собака 1
Корова 1
Собака 1
Лягушка 1

Тут у одного ключа (Собака) есть два значения

2 раза по 1 придет

если я правильно помню реализацию:
делается map в мэпере, результаты пишутся в буфер, буфер СОРТИРУЕТСЯ и кидается на диск

редьюсеры забирают данные с множества мэперов, соответственно это классический sorted merge по файлам получается и на одинаковые ключи вызывается функция reduce

имеется доп оптимизация когда можно первый раз применить функцию reduce ещё на стороне map
это снижает объем записываемых и передаваемых по сети данных

https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Mapper

Users can optionally specify a combiner, via JobConf.setCombinerClass(Class), to perform local aggregation of the intermediate outputs, which helps to cut down the amount of data transferred from the Mapper to the Reducer.

он называется там комбайнер и можно свой вкинуть, не обязательно от редьюсера класс

а вот в монге редьюсер и комбайнер должны иметь одинаковую сигнатуру =)