#rl Мне показалось, что в курсе не хватает теоретических заданий
К следующему занятию (через неделю) планирую решить теоретические задачки первой домашки стенфордского курса cs234

Подключайтесь

#rl спасибо @laggg5 за наводку на хабростатью про Q-learning

habr.com/ru/post/345656

#rl Сори, у нас произошла накладка со списками. Тем, у кого нет пропусков (и кто не с summer camp) нужно будет по приходу на охрану написать @dropout05, чтобы я спустился и пропустил вас.
Ровно по этой же причине просьба не опаздывать, начнём в 19:10.

#rl @laggg5 продолжает спонсировать нас материалами по Q-learning et al., спасибо ему за это

Reinforcement learning: Temporal-Difference, SARSA, Q-Learning & Expected SARSA in python
Кроме того, что есть в заголовке, в статье описывается отличие on-policy от off-policy, которое вчера на семинаре показалось нам неочивидным.

towardsdatascience.com/reinforcement-learning-temporal-difference-sarsa-q-learning-expected-sarsa-on-python-9fecfda7467e

Снова #rl

К следущему четвергу смотрим следующие лекции:
week 4 Approximate RL
week 5 Exploration
week 5 Policy Gradient methods

и делаем соответствующие домашки

PR в pytorch-pretrained-BERT c XLNet. Если кто-то хотел поиграться, уже можно.

github.com/huggingface/pytorch-pretrained-BERT/pull/711

Новая статья от Lample. Memory networks are back.

Спасибо @someotherusername за ссылку irl.spacy.io/2019

Есть записи всех выступлений и некоторые из них могут быть интересны. Я (очень ускоренно) просмотрел первые 2 и не стоит ожидать от них каких-то прорывных идей, но, к примеру, у Рудера очень неплохой обзор состояния TransferLearning в NLP

Sparse Networks from Scratch: Faster Training without Losing Performance
timdettmers.com/2019/07/11/sparse-networks-from-scratch

Стандартные подходы к сжатию сеток основываются на том, что мы обучаем сеть обычным метогдом, а потом эту (плотную) сеть уменьшаем и прорежаем. В этой статейке предложили метод оптимизации, который делает сетки разрежеными ещё во время обучения. Выглядит интересно, но тестировали как всегда только на MNIST и CIFAR.

#rl

К сожалению, на этой неделе не получится провести rl-встречу в четверг, переносим её на неделю вперёд. Надеюсь, что это увеличит число решённых заданий.

Прошу обратить внимание, что в четвёртой задаче агент учится часов 6 на GPU (при условии что всё написано без ошибок, у вас хорошие гиперпараметры и звёзды на небе расположенны благосклонно), так что начинайте её как можно раньше.

Это не я их ищу, это они меня находят. Ещё одна вариация трансформера.

R-Transformer: Recurrent Neural Network Enhanced Transformer
Wang et al. [Michigan State University]
arxiv.org/abs/1907.05572

Главная часть абстракта:
Despite their success, however, these models [transformers] lack necessary components to model local structures in sequences and heavily rely on position embeddings that have limited effects and require a considerable amount of design efforts.

Основная идея состоит в том, чтобы использовать для учёта локального контекста (например, 3 слова) модифицированную RNN, учитывающую только предыдущие M=3-1 слов, а для учёта глобального контекста (всей последовательности) использовать обычный self-attention. Работает на удивление неплохо, хотя задачи, конечно странно выбраны.

LocalRNN

Вся архитектура

Multilingual Universal Sentence Encoderfor Semantic Retrieval
Yang, Cer et al. [Google], 2019
arxiv.org/abs/1907.04307

Если кто-то пользовался TFHub, то один из самых популярных модулей там - это Universal Sentence Encoder (arxiv.org/abs/1803.11175). USE - это трансформер из эпохи позднего предбертья, предобучающаяся как на unsupervised (skip-thought), так и на supervised (SNLI) тасках.

Однако USE, выложенный на TFHub был недостаточно universal, потому что он был обучен только на английском. В новой версии он поддерживает 16 языков (включая русский 🎉). Про то, как он обучается: a multi-feature question-answer prediction task, a translation ranking task, and a natural language inference task. Я надеюсь, что вы поняли, потому что это всё, что я смог выудить из статьи.
Про данные расказано немного больше и есть интересные моменты:
 1. QA-пары намайнены с Reddit, StackOverflow и YahooAnswers; часть QA-датасета переведена, чтобы добить все языки хотя бы до 60 млн пар вопрос-ответ
 1. Переводы намайнены согласно www.aclweb.org/anthology/C10-1124 (статья просто даёт ссылку)
 1. SNLI переведён с английского на все остальные 15 языков автоматически с помощью Google Translate

Кроме добавления 15 языков, модель теперь протестирована на поисковых тасках и показывает адекватное качество.

Из других интересных вещей: выложена не только transformer-based архитектура, но и CNN. CNN подходит вам сильно больше, если ваши тексты длинные, и/или вам важна производительность.

за наводку на статью спасибо @someotherusername

И соответствующая "USE 2.0" статья из блога Гугла:
ai.googleblog.com/2019/07/multilingual-universal-sentence-encoder.html

Вы можете не любить эту либу, только если вы её не пробовали. Теперь 1.0

twitter.com/Thom_Wolf/status/1151169470498582529

B тут Рудер зовёт к себе на работу, вдруг кто решит попробовать пройти в DeepMind

https://twitter.com/seb_ruder/status/1151521975866667019