уважаемые коллеги, мы приглашаем вас на следующий семинар, который пройдет в корпусе ВШЭ на Покровском бульваре 16 ноября, в субботу в 15:00; выступать будут: Михаил Галкин расскажет то, что не смог рассказать про knowledge graphs на AI Journey, Дмитрий Пузырев расскажет про векторные представления Пуанкаре и Андрей Бут поделится свежими впечатлениями от поездки на EMNLP
https://sites.google.com/view/huawei-hse-nlp-seminar
ВНИМАНИЕ: чтобы пройти в корпус ВШЭ, нужно зарегистрироваться по ссылке https://forms.gle/mJqZ97w79Spbw6Qz8
ну и вишенка на торте 🍰: мы выложили видео с прошлого семинара! https://www.youtube.com/channel/UCN_Um4u-7F_DkNt2N1824UQ/ как это принято, “лайк, подписка и колокольчик”

Word Embedding Algorithms as Generalized Low Rank Models and their Canonical Form
Kian Kenyon-Dean, [McGill University]
arxiv.org/abs/1911.02639

Более 70 страниц исследования word embeddings, плюс новый способ их тренировать. Предлагаю использовать как справочник, если вы хотите узнать про векторные представления слов подробнее.

Release Strategies and the Social Impacts of Language Models
Solaiman et al. [OpenAI]
arxiv.org/abs/1908.09203

Философский трактат от OpenAI о различных social impacts, о том, как правильнее релизить большие модели, защите от fake news с аппендиксом про bias and fairness.
На самом деле довольно уникальная работа, советую взглянуть.

Подкаст про современный NLP от AI2 - института, который подарил нам AllenNLP, ELMo и много других интересных статей.

podcasts.apple.com/us/podcast/nlp-highlights/id1235937471

За ссылку спасибо @y_emelianov

Немножко ссылок, которые я планировал описать в канале за последнюю неделю, но руки так и не дошли

Compressive Transformer for long-range sequence learning
https://twitter.com/Thom_Wolf/status/1195662118974083073

Fresh Ruder Newsletter!

Отличная презентация с последнего EMNLP

A SOTA-less, novelty-less journey into neural sequence models

TL;DR
Когда появился нейронный машинный перевод он не был SOTA, его улучшения в своё время не были новыми идеями. Но сейчас это де-факто стандарт в рисёче и проде.
Сейчас происходит много примеров неавторегрессионной генерации текста, но они не SOTA и их улучшения не новые идеи.

Очень советую почитать презентацию, там куда больше интересного, чем может поместиться в TL;DR.

https://drive.google.com/file/d/1HGzv6n9hAj-GL63POUZCO6nCrIHF9y35/view

Evaluating Combinatorial Generalization in Variational Autoencoders
Bozkurt, Esmaeili, et al. Northeastern University
arxiv.org/abs/1911.04594

The paper studies how well shallow and deep VAEs are able to generalize in different dataset split settings. They try two different dataset split techniques: “easy” and “hard” generalization problem and change dataset size “small dataset” vs. “big dataset.”

VAEs are trained to autoencode MNIST images.

First, they study how well VAE memorizes the training set. Deep models memorize it more then shallow and reuse memorized examples to extrapolate to reconstruct unseen data. Particularly, they find that the reconstructions of unseen data (e.g., some class in MNIST that was absent during training) are closer to training examples in a deep model.

Their study is consistent with the work of Belkin et al. 2018 in the case of “easy” generalization - deep models generalize better with increased capacity. But in the case of “hard” generalization, deeper models perform worse as the capacity increases.

Also, they found that increasing data amount helps deep models to generalize much more than it helps shallow.

I think this is the first paper in a long time with both MNIST and exciting findings.

Когда НЛП встречается с МММ.
Потому что мы удачливы на аббревиатуры.

arxiv.org/abs/1910.00458

Energy-Based Self-Supervised Learning
Yan LeCun

Так как поток интересных NLP-статей как-то затих, держите ещё одну презентацию. Слайды с очень крутой лекции ЛеКуна о предобучении и моделях с латентными переменными. Был на такой же его лекции в Гарварде, было интересно.

https://drive.google.com/file/d/1NCLbdkIDaU1ZvZ3dp7xi7CGhxKRgWChw/view