Translatotron translation (original speaker’s voice)
По непонятной причине я не могу прослушать последние записи в телеграм, но надеюсь, что вы можете.
Size: a a a
2019 May 16
2019 May 17
Всем привет!
Если у вас проверены не все задачи и вы хотите это исправить - заполните, пожалуйста, форму.
https://forms.gle/CQUXxggB35QmKBJs6
Если у вас проверены не все задачи и вы хотите это исправить - заполните, пожалуйста, форму.
https://forms.gle/CQUXxggB35QmKBJs6
2019 May 19
Пачка интересных (мне) статей (вам) на выходные:
A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors, Khodak et al. [Princeton], 2018
Почти бесплатный способ получать эмбеддинги для OOV-слов из ваших готовых классических эмбеддингов
Cross-lingual Language Model Pretraining, Lample & Conneau [FAIR], 2019
BERT для машинного перевода и другие штуки. Как-то пропустил эту статью, нужно было бы обсудить её на семинаре про unsupervised машинный перевод.
How to Fine-Tune BERT for Text Classification?, Sun et al. [Fudan University], 2019
Название говорит само за себя.
Training Tips for the Transformer Model, Popel & Bojar [Charles University], 2018
Большая статья о том, как правильно варить трансформеры. Я бы не верил им во всех пунктах, по-моему местами там было что-то спорное, но исследование очень полезное.
A La Carte Embedding: Cheap but Effective Induction of Semantic Feature Vectors, Khodak et al. [Princeton], 2018
Почти бесплатный способ получать эмбеддинги для OOV-слов из ваших готовых классических эмбеддингов
Cross-lingual Language Model Pretraining, Lample & Conneau [FAIR], 2019
BERT для машинного перевода и другие штуки. Как-то пропустил эту статью, нужно было бы обсудить её на семинаре про unsupervised машинный перевод.
How to Fine-Tune BERT for Text Classification?, Sun et al. [Fudan University], 2019
Название говорит само за себя.
Training Tips for the Transformer Model, Popel & Bojar [Charles University], 2018
Большая статья о том, как правильно варить трансформеры. Я бы не верил им во всех пунктах, по-моему местами там было что-то спорное, но исследование очень полезное.
И вот очень красивый код: весь трансформер в 40 строк на PyTorch 1.1
by 🤗
by 🤗
dlinnlp
Всем привет!
Если у вас проверены не все задачи и вы хотите это исправить - заполните, пожалуйста, форму.
https://forms.gle/CQUXxggB35QmKBJs6
Если у вас проверены не все задачи и вы хотите это исправить - заполните, пожалуйста, форму.
https://forms.gle/CQUXxggB35QmKBJs6
Закрываю форму в течение часа. Если кто-то не успеет, будет нехорошо.
2019 May 20
Всем привет!
В этот четверг у нас будет занятие с приглашёнными лекторами из iPavlov
Расскажем вам про наши исследования и задачи.
Время и место стандартные.
В этот четверг у нас будет занятие с приглашёнными лекторами из iPavlov
Расскажем вам про наши исследования и задачи.
Время и место стандартные.
Если кто-то хочет разобраться с Cloud TPU + BERT, то вот хороший пост на Medium
https://towardsdatascience.com/pre-training-bert-from-scratch-with-cloud-tpu-6e2f71028379?sk=51c46354668b0fc4255fe8bb7e1e3035
https://towardsdatascience.com/pre-training-bert-from-scratch-with-cloud-tpu-6e2f71028379?sk=51c46354668b0fc4255fe8bb7e1e3035
2019 May 21
В этот четверг будет два спикера. Мария Трофимова расскажет вам о применении BERT к прикладным задачам. В том числе она будет опираться на последние исследования нашей лаборатории.
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Kuratov & Arkhipov [iPavlov], 2019
arxiv.org/abs/1905.07213
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Kuratov & Arkhipov [iPavlov], 2019
arxiv.org/abs/1905.07213
И напоминаю, что в эту субботу у нас постер-сессия.
Ориентировочно, она будет длиться 2 часа, давайте узнаем, когда спикерам удобнее всего и оценим количество человек. По внутренним причинам, начать раньше 14 не можем. Точное время будет объявлено позже.
https://forms.gle/AanpoFTkYFDetfoq6
Ориентировочно, она будет длиться 2 часа, давайте узнаем, когда спикерам удобнее всего и оценим количество человек. По внутренним причинам, начать раньше 14 не можем. Точное время будет объявлено позже.
https://forms.gle/AanpoFTkYFDetfoq6
2019 May 22
dlinnlp
И напоминаю, что в эту субботу у нас постер-сессия.
Ориентировочно, она будет длиться 2 часа, давайте узнаем, когда спикерам удобнее всего и оценим количество человек. По внутренним причинам, начать раньше 14 не можем. Точное время будет объявлено позже.
https://forms.gle/AanpoFTkYFDetfoq6
Ориентировочно, она будет длиться 2 часа, давайте узнаем, когда спикерам удобнее всего и оценим количество человек. По внутренним причинам, начать раньше 14 не можем. Точное время будет объявлено позже.
https://forms.gle/AanpoFTkYFDetfoq6
Всем привет.
Тем, кто не очень знаком с форматом постер-сессии, вот несколько очевидных советов о том, как сделать ваш постер чуть лучше
https://www.youtube.com/watch?v=AwMFhyH7_5g
И если вы ещё не заполнили форму, пожалуйста, сделайте это https://forms.gle/AanpoFTkYFDetfoq6
Тем, кто не очень знаком с форматом постер-сессии, вот несколько очевидных советов о том, как сделать ваш постер чуть лучше
https://www.youtube.com/watch?v=AwMFhyH7_5g
И если вы ещё не заполнили форму, пожалуйста, сделайте это https://forms.gle/AanpoFTkYFDetfoq6
те, кто хочет, чтобы их постеры распечатали - отправьте мне их до утра пятницы
(обязательно PDF)
почти наверное мы сможем это сделать
если это окажется не так - сразу же предупредим вас
(обязательно PDF)
почти наверное мы сможем это сделать
если это окажется не так - сразу же предупредим вас
Призыв от Юры Кашницкого тем, кто интересуется приложениями transfer learning NLP к практическим задачам:
Для кого transfer learning особенно актуален - подключайтесь к моей небольшой рисеч-группке. Цель - заставить это овсе работать на практике или хотя бы выработать best practices, скажем, как файнтюнить BERT для классификации (поможет и на кэггле в будущем). Пока я организовал два инкласс-соревнования. Идея - делиться кодом и идеями, как можно больше обсуждать.
https://www.kaggle.com/c/amazon-pet-product-reviews-classification
https://www.kaggle.com/c/clickbait-news-detection
У нас есть канал в слэке. Сейчас я пересматриваю формат сотрудничества, т.к. слегка заглохло, все свое пилят 🙂 Если заинтересованы - напишите мне в личку.
Для кого transfer learning особенно актуален - подключайтесь к моей небольшой рисеч-группке. Цель - заставить это овсе работать на практике или хотя бы выработать best practices, скажем, как файнтюнить BERT для классификации (поможет и на кэггле в будущем). Пока я организовал два инкласс-соревнования. Идея - делиться кодом и идеями, как можно больше обсуждать.
https://www.kaggle.com/c/amazon-pet-product-reviews-classification
https://www.kaggle.com/c/clickbait-news-detection
У нас есть канал в слэке. Сейчас я пересматриваю формат сотрудничества, т.к. слегка заглохло, все свое пилят 🙂 Если заинтересованы - напишите мне в личку.
2019 May 23
Напоминаю, что сегдоня у нас лекция от iPavlov!
Второй лектор - Алексей Сорокин - расскажет вам про задачи, похожие на перевод, в которых плохо работает стандартный механизм внимания, прежде всего автоматическое словоизменение. Чтобы примерно понять, что это такое, можно посмотреть статью
Morphological Inflection Generation with Hard Monotonic Attention, Aharoni & Goldberg, 2017
https://arxiv.org/pdf/1611.01487.pdf
Второй лектор - Алексей Сорокин - расскажет вам про задачи, похожие на перевод, в которых плохо работает стандартный механизм внимания, прежде всего автоматическое словоизменение. Чтобы примерно понять, что это такое, можно посмотреть статью
Morphological Inflection Generation with Hard Monotonic Attention, Aharoni & Goldberg, 2017
https://arxiv.org/pdf/1611.01487.pdf
И третий лектор - Евгений Голиков. Кто-то из вас уже может знать Женю, тк он ведёт курс по теориям глубокого обучения в нашей лабе https://github.com/deepmipt/tdl
Женя расскажет про вторую итерацию курса, которая начнётся в следующем семестре. Обязательно будет интересно.
Женя расскажет про вторую итерацию курса, которая начнётся в следующем семестре. Обязательно будет интересно.
Через 20 минут у нас занятие с лекторами из iPavlov. Приходите!
Сорян, печати постеров не будет 😕
Постеры должны быть формата А0.
Пример (не самый хороший) есть тут: clck.ru/GA6b3
В качестве Tex-шаблона можете использовать вот эти: clck.ru/GA6c7
Рекомендации по постерам и видео от Стенфорда: clck.ru/GA6f9
В качестве хороших примеров предлагаю смотреть на постеры cs224n: clck.ru/GA6qy
Пример (не самый хороший) есть тут: clck.ru/GA6b3
В качестве Tex-шаблона можете использовать вот эти: clck.ru/GA6c7
Рекомендации по постерам и видео от Стенфорда: clck.ru/GA6f9
В качестве хороших примеров предлагаю смотреть на постеры cs224n: clck.ru/GA6qy
2019 May 24
Пожалуйста, все, кто ещё не был на наших офлайн занятиях, но будет на постер-сессии - отправьте мне своё ФИО в течение 1-2 часов, уже надо подавать списки
Выпуск очень достойного подкаста про всякие PhD-штуки, конкретно этот про то, как достойно выступить на постер-сессии.
Для всех, кто готовится к завтрашней презентации будет полезно.
http://hellophd.com/2018/11/104-how-to-give-a-perfect-poster-presentation/
Для всех, кто готовится к завтрашней презентации будет полезно.
http://hellophd.com/2018/11/104-how-to-give-a-perfect-poster-presentation/
