NS
Они связаны, без больших данных и большого количества видеокарт качества не будет.
Глупый вопрос:
Как подсчитать оптимальный размер батча?
Size: a a a
2021 May 24
AN
В рамках Гугл колаба
DD
Оптимальный - это чем больше, тем лучше. Увеличивай, пока memory error не словишь.
NS
не всегда, при больших размерах батча часто тяжело найти минимум, надо пробовать на экспериментах или брать, что раньше другими использовалось
https://arxiv.org/abs/1609.04836
resent numerical evidence that supports the view that large-batch methods tend to converge to sharp minimizers of the training and testing functions - and as is well known, sharp minima lead to poorer generalization.
https://arxiv.org/abs/1609.04836
resent numerical evidence that supports the view that large-batch methods tend to converge to sharp minimizers of the training and testing functions - and as is well known, sharp minima lead to poorer generalization.
AN
«Размер установлен Эмпирическим путём», понял))
NM
В практических применениях любых систем машинного обучения чуть ли не самая важная задача - оценить качество модели на реальных данных. А они обычно не размечены, и сделать эту разметку зачастую невозможно из-за соображений приватности или безопасности. Тем важнее способы оценки качества моделей без использования разметки.
Марина Фомичева (Университет Шеффилда) с соавторами предложила набор подходов к оценке систем машинного перевода без использования разметки. По ее словам: "Большинство современных подходов к автоматической оценке систем генерации естественного языка (NLG) рассматривают оцениваемую модель как черный ящик. В этом выступлении я представлю альтернативный подход, в котором мы заглядывает внутрь модели, чтобы получить представление о качестве сгенерированных выходных данных, на примере нейронного машинного перевода (MT). Благодаря использованию последних достижений в области оценки неопределенности для нейронных сетей, мы предлагаем метод, который не требует дополнительных ресурсов или данных для обучения и в то же время обеспечивает точность, сопоставимую со специализированными системами оценки качества перевода. "
Об этом Марина нам расскажет на очередном вебинаре НТР и HITS ТГУ 25 мая 2021, в 13:00 МСК
Регистрация: https://us02web.zoom.us/webinar/register/2816215991698/WN_eHwwRxWRT7i4LHA_Erxkgg
Марина Фомичева (Университет Шеффилда) с соавторами предложила набор подходов к оценке систем машинного перевода без использования разметки. По ее словам: "Большинство современных подходов к автоматической оценке систем генерации естественного языка (NLG) рассматривают оцениваемую модель как черный ящик. В этом выступлении я представлю альтернативный подход, в котором мы заглядывает внутрь модели, чтобы получить представление о качестве сгенерированных выходных данных, на примере нейронного машинного перевода (MT). Благодаря использованию последних достижений в области оценки неопределенности для нейронных сетей, мы предлагаем метод, который не требует дополнительных ресурсов или данных для обучения и в то же время обеспечивает точность, сопоставимую со специализированными системами оценки качества перевода. "
Об этом Марина нам расскажет на очередном вебинаре НТР и HITS ТГУ 25 мая 2021, в 13:00 МСК
Регистрация: https://us02web.zoom.us/webinar/register/2816215991698/WN_eHwwRxWRT7i4LHA_Erxkgg
VM
> Та же модель от сбербанка 8 дней на 16 V100 учится
нейросети такие нейросети
нейросети такие нейросети
A
пэйпер есть?
D
подскажите базовое решение ( для допилить ) под задачу
выделять сущности "субъект, предикат, объект""
спасибо
PS ruBERT
выделять сущности "субъект, предикат, объект""
спасибо
PS ruBERT
K
❤️❤️❤️
K
Мне кажется — это https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00330/96475/Unsupervised-Quality-Estimation-for-Neural-Machine но из описания не понятно, может что-то более новое
NM
Ага, плюс, надеюсь, что-то новое
E
о, так это твоя научная руководительница?
K
Нет, это моя потенциальная шефиня там, где я рассказывала :)
E
крутая
K
Я поэтому так страдала над письмом :) и вроде не прогадала