VirTex: Learning Visual Representations from Textual Annotations
Desai and Johnson [University of Michigan]
arxiv.org/abs/2006.06666v1

TL;DR предобучение для задач CV на задаче image captioning более sample-efficient, чем предобучение на ImageNet-классификации.

Обучали resnet+transformer lm. В качестве задачи выбрали комбинацию forward LM и backward LM, аналогично ELMo. Хотели попробовать MLM тоже, но не умеестились в compute.

Много людей считают, что связывание CV и NLP будет очень активно развиваться в ближайшие пару лет, я с ними согласен.

Одной строкой:

1. Релиз AllenNLP 1.0
1. Специализация по NLP от deeplearning.ai
1. Насколько сильнно twitter влияет на цитируемость статьи
1. Релиз PyTorch Lightning⚡0.8
1. L3AI идёт прямо сейчас, подключайтесь

спасибо @someotherusername за ссылки

Memory Transformer
Burtsev and Sapunov
arxiv.org/abs/2006.11527

Cтатья от iPavlov и Intento в которой экспериентирют с пустыми токенами в трансформерах. По аналогии с SEP токенами, добавляют по 10-30 MEM токенов. Интуиция тут такая, что потенциально туда трансформер может складывать полезную инфоормацию, например какое-то сжатое описание всего текста. В экспериментах с WMT14 en-de смогло докинуть 1 BLEU к ванильному трансформеру в Base версии. Визуализация attention MEM токенов намекает на то, что они действительно хранят глобальный контекст а так же выполняют с ними операции типа чтения, записи и копирования.

В том числе экспериментировали с более сложным подходом в котором key и value использюется эмбеддинги памяти, а не эмбеддинги токенов, но не зашло.

Результаты довольно неожиданные в контексте свежих статей по интерпретации attention, которые показали, что CLS и SEP используются как своеобразные "выключатели" голов. Было бы интересно посмотреть не только на веса attention, но и на нормы аутпутов, как в статье Atteniton Module is Not Only a Weight.

I am trilled to announce our second post - BERT Distillation with Catalyst.
Distilling BERT models can minimize loss, reduce model sizes, and speed up inferences. Check it out!

Huge thank you to Nikita for this great tutorial.
https://medium.com/pytorch/bert-distillation-with-catalyst-c6f30c985854?source=friends_link&sk=1a28469ac8c0e6e6ad35bd26dfd95dd9

Статьи в одну строчку:

1. arxiv.org/abs/2006.13979 - мультиязычный претренинг а-ля XLM можно успешно использовать для предобучения моделей распознавания речи (twitter)
1. arxiv.org/abs/2006.13484 - тренировка BERT за 54 минуты с помощью больших батчей, LAMB + Nesterov и нового lr schedule
1. arxiv.org/abs/2006.14170 - нецентрализованный differentially private метод тренировки NLP моделей
1. arxiv.org/abs/2006.12005 - GAN для контролируемой генерации текста, который работает плохо, но зато быстро
1. arxiv.org/abs/1901.06436 - латентное графовое представление для машинного перевода

Свежий обзор зоопарка трансформеров от Григория Сапунова на онлайн-конфе GDG DevParty Russia:

https://www.youtube.com/watch?v=KZ9NXYcXVBY

Статьи в одну строчку #2

1. Большой обзор + сравнение различных графовых эмбеддингов. Рассмотрены различные модели (~19), методы сэмплирования, лосс-функции и другие гиперпараметры. Все эксперименты заняли 21,246 GPU часов 😮 (тык)
1. Дифференцируемый (soft) KNN на замену softmax. В том числе на заменту softmax в attention. Модель аутперформит трансформер на 0.8 BLEU на WMT16 en-de (тык).
1. Pre-training via paraphasing. Пусть вам дан текст X, ранжировщик нашёл вам тексты Y1, Y2, ..., YN (возможно, даже на другиих языках). Модель тренируется восстанавливать текст X по Y1, .., YN. Аутперфомит MLM на мультиязычных тасках. (тык)

Большой релиз 🤗 Transformers 3.0

Улучшили API токенизаторов, теперь можно токенизировать в numpy-тензоры, padding и truncation теперь нормально работать вместе, исправили проблемы с сохранением-загрузкой 🎉

Обещают, что серьезно подчистили модельки TF (но вы знаете единственный верный способ улучшить модели на TF)

Много улучшений документации, включая примеры использования seq2seq. Кстати в них используют ⚡️, вместо внутреннего Trainer и я тоже очень советую так делать.

Также куча мелких изменений включая бенчмарки, новые модели и примерно 10 млн багфиксов.

Сэкономлю вам немного времени:
pip install transformers --upgrade

One little detail about NoamLR

Тут написали разрабы самой Наташи. У них появилась компактная моделька NER, которая спокойно соревнуется с RuBERT. Думаю много кому будет полезно.

natasha.github.io/ner

"Удалось получить качество на 1 процентный пункт хуже, чем у Deeppavlov BERT NER (F1 PER 0.97, LOC 0.91, ORG 0.85), модель весит в 75 раз меньше (27МБ), работает на CPU в 2 раза быстрее (25 статей/сек) чем BERT NER на GPU. Если коротко, там дистилляция BERT NER в WordCNN-CRF + квантизация + инференс на Numpy."

Для любителей книг PyTorch бесплатно раздаёт Deep Learning with PyTorch Antiga, Stevens, and Viehmann.

Я не любитель книг по DL, но решил посмотреть. Короткий обзор:

1. Очень забавный стиль картинок
1. Код без подсветки это ад ада
1. Глава "Why can’t we just throw data at a neural network until it works?" топ
1. Есть глава про деплоймент, к сожалению там Flask, но зато JIT и TorchScript разбирают
1. NLP нет совсем (но пост уже написан, поэтому всё равно опубликую тут)

Отличный твит о пяти недооцененных статьях с прошедшего ACL.
тык

Немножко NLP-полезностей:

1. NYU Deep Learning Course Week 12 про NLP и трансформер (лекция, семинар, заметки)
1. Impoving NLU Through Adversarial Testing (лекция)
1. Ещё одно (слегка упоротое) объяснение трансформера (видео)
1. Официальная иплементация PowerNorm (тык)
1. Новая статья от гугла где учат мапить текстовые команды на UI Android (статья, блогпост)
1. AutoML Zero - эволюция алгоритма обучения с нуля (статья, блогпост, код)

Do Transformers Need Deep Long-Range Memory?
Rae and Razavi [DeepMind]
arxiv.org/abs/2007.03356

Короткий ответ: да
Длинный ответ: экспериментировали с Transformer-XL, смотрели что будет если не все слои будут использовать long-range dependencies. Выяснили, что можно считать длинные зависимости только в 1/6 слоёв, а остальные сделать короткими (128 токенов) и будет работать отлично. Но если убрать длинные зависимости совсем / оставить только один слой, то будет работать плохо.