У кого-нибудь есть примеры кода умножения векторов с MapReduce?

AllWayzAQueen Oehme has been banned! Reason: CAS ban.

Orn Ibrahim O has been banned! Reason: CAS ban.

Здравствуйте, подскажите что почитать по основам? Есть какой то план обучения или кто курсы посоветует? Необходимы знания по проектированию хранилища не структурированных данных, выборки, построению индекса, возможно что то ещё.

Тут Otus хвалили

А есть у кого положительные/отрицательные отзывы по тулзе MapReduceIndexerTool для создания индекса для солара? Или как вы решаете проблему быстрой выборки данных за произвольный период без возможности сразу уточнить запрос?

При условии ограниченного размера хранилища под индекс, любой

Подскажите, а нормальная практика создавать hbase таблицу под поднимаемые данные с hdfs , если рассматривать шаблон schema-on-read ? Или чаще всего мы заранее знаем набор схем с помощью которых у нас созданы на hdfs данные и мы уже преподготовили пустые таблицы по этим схемам?

Простите за нубские вопросы😅

для таблицы в HBase вам придется как минимум ключ выделить, и в остальном ваш вопрос выглядит странно, попробуйте описать юзкейс

Есть много данных сырых. Есть описание метамоделей этих данных. Иногда надо поднимать данные с hdfs, если они не нашлись в оперативном хранилище. Есть ограничение на свободное пространство на hdsf. Критерии запроса неизвестны. Т.е. есть сторадж в который льют любые данные, нужно по ним искать, за приемлемое время опираясь на метмодель. Метамодель - это по сути массив name, value, description строк - строк неограниченное количество. В день всего этого добра порядка 6Тб

а какой "язык" запросов? просто строки по критерию, джоины/агегрегации, FTS?

Предлагалось делать солр индекс за период выбранный пользователем. И потом уже в соларе уточнять запрос. Мне это кажется неверным решением, так как для построения индекса уже будет использоваться мап редьюс. По этому я предложил отдельно хранить метамодели - благо их на много, а уже по этим метамоделям позволять пользователю писать псевдозапрос, который будет искать данные мапредьюсом, Но вот остался вопрос, в каком виде отдать пользователю результат, что бы он ещё смог в нем что то отфильтровать жополнительно

Просто строки по критерию

а приемлемое время это сколько?

Да, забыл добавить. Это желательно делать на стеки клоудеры(хадуп, хайв, хбейс...)

До суток

Лучше быстрее)

и какие допустимые задержки от инджеста данных до появления в результате?

Есть оперативное хранилище за три месяца, нужно поднимать все что старше