Я за дистиллят считаю, когда мы минимум эмбединговый выход подгоняем, а не давайте примешаем MSE до софтлэйблов )
т.е. мы научимся лучше предсказывать паблик - т.к. туда софтлейблы добавили от композиции сложных моделей и на этом учились. Так?
А как это поможет с приватом (потенциально новым) в этом соревновании?