Ты можешь посчитать распределение суммы

Через конволюцию

Ты имеешь в виду на практике?

Ну типа если у тебя есть два ОНЕ, то это два категорных распределения. Если на секунду представить что это распределения над числами, то можно найти распределение суммы этих двух случайных величин

Не уверен как это на практике работать будет потому что опять таки ты задаёшь метрику какую то над результатами и непонятно зачем тогда ОНЕ вообще

Потому что у нас есть цифры 0-9, между которыми могут быть заданы операции (например, ответ - это 9 минус инпут). Но сами цифры подавать на вход сетки не лучшая идея - они становятся слишком близкими друг к другу. А если предсказывать аутпут цифрами, то они могу оказаться дробными, плюс ошибка даже в одном пикселе приводит к тому, что задача становится не решенной. Поэтому кажется, что правильнее относиться к ним все же как к категориям. Но тогда проблема с операциями над ними.

Можно попробовать ответ хранить как счетчик. Инициализируется нулем, а дальше к нему добавляется что-то.

Кажется что пытаться складывать тогда не лучшая идея

Но если уже делать я бы делал циклическую конволюцию тогда

Это что?

Ну у тебя есть два распределения p(x) и q(x) тогда распределение суммы (по модулю) будет
r(x) = sum_y p(y)*q(x-y mod N)

В частности два OHE будут складываться

А. Ну то есть обычная свертка распределений. Правда я все еще не пойму, как с функций распределений перейти на два тензора с OHE кодированием.

Всм, ОНЕ и есть распределение ж

Я не смог. Ахах. Ладно, попозже еще подумаю.

Ну ОНЕ значит что ты с вероятностью 1 получаешь категорию где есть 1, и с вероятностью 0 все остальные

Ага. Это я понял. Но у меня не вышло получить правильный результат суммирования по формуле свертки. Типо 1 + 3 = 4.
01234 сетка
01000 инпут1
00010 инпут2
00001 ожидаемый результат.

Ну так и выходит

Для x=4, y=1 из этой формулы будет 1, во всех остальных случаях 0

Так. Да. Согласен. Значит, я где-то с индексами промахнулся. Спасибо.