ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Lan et al. Google
arxiv.org/abs/1909.11942

Гугл исследует, как увеличение ширины трансформера влияет на вероятность получить SOTA. Оказывается, что если сделать это правильным обазом, то весьма положительно.

Ключевые идеи:
1. зашарить параметры между всеми слоями трансформера, как в Universal Transformer (по сути просто итерируемся по одному слою)
2. чтобы при увеличении hidden не рос размер эмбеддинг-матрицы, проецировать эмбеддинги не напрямую, а через промежуточное пространство
3. вместо next sentence prediction, где негативные примеры семплируются из всего датасета, брать два последовательно идущих предложения и с некоторой вероятностью менять их местами; предсказывать в каком порядке они должны идти
4. увеличить размер hidden в 4 раза, получаем SOTA

Подробнее про 2
было:

emb = Embedding(vocab=30K, emb_size=H)

стало:

emb = Embedding(vocab=30K, emb_size=E)(x)
emb = Linear(E, H)(emb)

если H >> E, то это позволяет сократить число параметров и ускорить вычисления

Другие подробности:
1. Использовали умное маскирование - с некоторой вероятностью маскировали до 3 последовательно идущих токенов
1. LAMB optimizer
1. ALBERT, достигающий сопоставимых с BERT Large результатов медленнее BERT Large

И статья с хайлайтами

Сегодня Google исполняется 21, поэтому статья

The Anatomy of a Large-Scale Hypertextual Web Search Engine
Brin and Page [Stanford]
https://stanford.io/2IBq2o3

Абстракт абстракта:
People are likely to surf the web using its link graph, often starting with high quality human maintained indices such as Yahoo! or with search engines. Human maintained lists cover popular topics effectively but are subjective, expensive to build and maintain, slow to improve, and cannot cover all esoteric topics. Automated search engines that rely on keyword matching usually return too many low quality matches. We have built a large-scale search engine which addresses many of the problems of existing systems. It makes especially heavy use of the additional structure present in hypertext to provide much higher quality search results.

Интересно посмотреть на состояние интернета того времени через призму статьи. Да, она немного не про NLP, ну и ладно.

Collaborative Multi-Agent Dialogue Model Training Via Reinforcement Learning
Alexandros Papangelis et al. Uber AI
arxiv.org/abs/1907.05507

Совместное одновременное обучение information seeker и information provider агентов, взаимодействующих только посредством диалога на естественном языке.

Архитектура агентов:

▫️NLU natural language understanding network
- NLU, получая на вход предложение в свободной форме, возвращает список намерений (intent) и соответсвующих им тегов из фиксированного набора. Например: "There are no Italian restaurants in the south part of the city, but one is available in the west side" -> deny(food: Italian, area: south), inform(area: west)}. Для устранения неднозначности созданы теги, соответсвующие намерениям, такие как deny_area и inform_area для локаций.
- модель состоит из свёрточного енкодера и двух декодеров: intent multi-label classifier, slot tagger
- метрика: F1 scores
- предобучена на датасете DSTC2
↓
▫️Dialogue policies (DP)
- на вход поступают рузультаты NLU
- для seeker состояния содержат его цель и полученную в результате диалога информацию, для provider - всю запрошенную информацию с фокусом на текущий запрос, результаты SQL запросов из базы данных о ресторанах
- награда даётся как за выполнение совместной задачи (ресторан назван верно, на все запросы seeker даны ответы), так и специфично целям агентов. Это позволяет обучать нового агента в паре с уже обученным.
- seeker дополнительно наказывается за запросы не "выражающие" информацию о цели, provider - за запросы без ответа.
- алгоритм: Win or Lose Fast Policy Hill Climbing (WoLF-PHC)
- обучается непосредственно взаимодействием агентов
↓
▫️NLG natural language generation network
- на вход поступают рузультаты DP в виде намерений и плейсхолдеров информации из базы: act_inform $food act_inform $pricerange act_offer $name
- модель: seq2seq EncoderDecoder with LSTMs rnn, attention
- метрика: модифицированный BLEU score - вмеcто расчёта метрики только по одному конкретному ответу считается по всем ответам в датасете, имеющим семантически одинаковые запросы.
- предобучена на DSTC2

🏆 Outperform supervised baselines.

Удачные примеры диалогов прекрасны, неудачный интереснее

#rl
Свежий запуск курса по deep learning в rl от Сергея Левина идёт прямо сейчас. Можно подключаться.

twitter.com/svlevine/status/1178420131078107136

Придешь на reading club?
public poll

Нет, но буду смотреть стрим – 97
👍👍👍👍👍👍👍 63%

Да, хочу послушать – 41
👍👍👍 27%

Нет, не пойду – 10
👍 7%

Да, хочу выступить – 5
▫️ 3%

👥 153 people voted so far.

Всем привет!
Итак, список статей для reading club из чатика. Если есть ещё варианты - шлите в оный.

Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning ссылка ✅

Explain Yourself! Leveraging Language Models for Commonsense Reasoning ссылка

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks ссылка

Neural Text Generation with Unlikelihood Training ссылка

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations ссылка

CTRL: A Conditional Transformer Language Model for Controllable Generation ссылка

Misspelling Oblivious Word Embeddings ссылка

MASS: Masked Sequence to Sequence Pre-training for Language Generation ссылка

Если вы хотите взять какую-то статью, то отметьтесь в табличке тык

Итак, отмечаем, когда удобнее провести reading club

https://doodle.com/poll/ypiiux324pfvzkii

ВНИМАНИЕ! Замена аудитории!
На семинар зарегистрировалось очень много слушателей, поэтому заседание пройдет в аудитории R205.
3 октября 2019, в четверг, 19:00 приглашаем Вас на заседание семинара Научно-учебной лаборатории  моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)

A GPT-2 written essay was submitted to the Economist's youth essay contest.

One judge, who did not know the essay was written by an AI, gave this review: "It is strongly worded and backs up claims with evidence, but the idea is not incredibly original."

https://www.economist.com/open-future/2019/10/01/how-to-respond-to-climate-change-if-you-are-an-algorithm

By twitter.com/gdb/status/1179422239483158528

Hierarchical Decision Making by Generating and Following Natural Language Instructions
Hengyuan Hu et al. [FAIR]
arxiv.org/abs/1906.00744

Создают игровую среду со стратегическим планированием и микроконтролем -  StarCraft на совсем минималках.

Команда из двоих людей наигрывает против rule-based противника 5392 игр, выигрывает чуть больше, чем в половине случаев. Один игрок выступает в роли стратега, давая высокоуровневые инструкции, второй выполняет микроконтроль, в среднем по 7 команд юнитам на одну инструкцию. В результате собран датасет из 76к пар инструкций-исполнений.

Архитектура решения:

- Инструктор (он же стратег) обучается мапить состояние игры в высокоуровневые инструкции на естественном языке. Обучается supervised.
- Исполнитель обучается давать команды юнитам на основе информации с игрового поля, истории и, возможно, инструкций. Обучается supervised.

Экспериментируют с моделями инструктора, также обучают архитектуру без него, чтобы понять вклад представлений стратегии на естественном языке и способа их моделирования в win-rate игры.

Code, models and data https://github.com/facebookresearch/minirts

Всем привет!
Судя по опросу в doodle, наибольшее число людей проголосовало за проведение reading club в четверг (10 октября).

Всем снова привет!

Итак, с датой и временем вроде определились - 10 октября (четверг), в 19:00, осталось решить два вопроса:
1) смогут ли выступающие прийти в это время
2) раскидать\разобрать статьи

Для решения первого ниже будет прикреплена голосовалка, для второго предлагаю провернуть уже проверенную схему - раскидать статьи случайно между выступающими. Если что, чат всегда открыт для обсужений.

Сможешь прийти 10 октября(четверг) в 19:00 ?
public poll

Посмотрю стрим – 64
👍👍👍👍👍👍👍 68%

Да, приду послушать – 16
👍👍 17%

Нет, не смогу – 10
👍 11%

Да, приду, буду выступать – 4
▫️ 4%

👥 94 people voted so far.

Я вас уже наверное достал голосовалками, но последний вопрос - место
public poll

ШАД – 44
👍👍👍👍👍👍👍 56%

ФКН ВШЭ – 30
👍👍👍👍👍 38%

Другое (в чатик) – 5
👍 6%

👥 79 people voted so far.