Всем привет. Тут на Moscode Festival будет проходить AI-трэк с NLP задачей. 16 матра в Физтехпарке. Приглашаем вас принять участие. Пойдёте?
public poll

Нет – 31
👍👍👍👍👍👍👍 67%

Да – 15
👍👍👍 33%

👥 46 people voted so far.

Наша лаборатория проводит этот трек, зарегистрироваться можно вот здесь. В гугл-форме есть странные вопросы, их составляли не мы.

https://it-edu.mipt.ru/pages/moscode2019/

А теперь о радостных новостях: по вашим просьбам дедлайн по всем задачам переносится на 23:59 8 марта
Удачных праздников :harold:

Ещё радостных новостей: заработал @peer_review_bot

Команда /help должна содержать всё, что вам нужно, чтобы освоиться в боте (если это не так, пишите @dropout05)

Eсли вы регистрировались в нём до вчерашнего дня, зарегистрируйтесь __заново__ (команда /start)
если сдавали задания, тоже сдайте их заново. Если у вас нету ника в телеграме, пожалуйста, сделайте его - он нужен, чтобы коннектиться для проверки задания.

Проверка должна быть личной - /get_gradable сообщает вам телеграм-ники тех, кого нужно проверить, а вы созванивайтесь и вместе обсуждаете задачу.

Если у вас есть вопросы - можете задавать их в чате

Выставление баллов за задание описано в этом файле. Если оно недостаточно ясное, тоже пишите в чатик.

Тем временем нас уже 1000! 🎉

Я очень рад, что столько людей интересуется курсом и NLP, спасибо вам!

Тк нас становится всё больше, возможно есть смысл слегка расширить формат. Добавить больше дополнительных материалов и обзоров последних статей.

Btw, стоит напомнить, что сегодня нету семинара. Всё согласно расписанию: https://clck.ru/FBnZx

Для подготовки в субботнему воркшопу рекомендую вспомнить / выучить numpy и broadcasting
Если вам не знакомо слово broadcasting, но вы думаете, что знаете numpy, вы не очень правы. Советую хотя бы пройти ноутбук Стенфорда.

Ноутбучек от Стенфорда про python и numpy: https://clck.ru/FKKEy
100 numpy exercises: github.com/rougier/numpy-100

Всем привет. Второй воркшоп начался. Всё задание в этом архиве.

Пароль к WiFi: budennovsk
Иногда подключается не с первого раза

Некоторые люди забыли зарядки от ноутов. Их фотки в чате.
Зарядки будут в ШАДе, пока вы их не заберёте.

Квиз к четвётрому семинару

https://goo.gl/forms/h6Ugof9QENxAAvEG2

Для тех, кто хочет участвовать в NLP-треке MosCode 16 марта

Форма регистриции специально для участников этого курса (без странных вопросов, которые есть в официальной):
https://goo.gl/forms/an7XIVPanjkGz5I03

(Кстати, у них будут призы)

И ещё хороших новостей
26-29 матра пройдёт Yandex NLP Week
https://academy.yandex.ru/events/data_analysis/NLP_week/

Темы достаточно продвинутые, рассчитаны на тех, кто уже прошёл аналогичный нашему курс. Могу посоветовать упоротым байесианам и студентам прошлого выпуска.
В общем если вас не пугают слова VAE и variance reduction - регистрируемся обязательно!

Давно у нас не было #допдня

Уже классическая статья The Unreasonable Effectiveness of Recurrent Neural Networks
От Andrej Karpathy (лектора cs23n1, который рассказывал вам про полносвязные сети)

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

А также я запустил Piazza для нашего курса

Добавляемся по следующей ссылке:
piazza.com/mipt/spring2019/ipavlov1

Access code: ipavlov1

Зачем она нужна? Чтобы уменьшить количество флуда в общем чатике и немного структурировать ваши вопросы и информацию. Я очень encourage задавать вопросы (и отвечать на них) там.

Всем привет.
Сегодня у нас с вами четвёртый семинар.
Обсудим последние две лекции по RNN и LSTM. Приходите, будет интересно!

Сегодня буду пораньше, часам к 18
Кто хочет задать свои вопросы (и получить на них ответы) - приходите

Тем, кто собрался на MosCode:
Начало регистрации в 10, начало трека в 11
Место: ФизтехПарк https://yandex.ru/maps/-/CCeZND-D

Следующее занятие будет для нас достаточно нестандартным. По этой теме ещё нету видео у стенфорда, потому что по-сути она появилась только в прошлом году. Мы разберём предобучение векторных представлений слов с помощью языковых моделей и как эффективно использовать это для классификации текстов и других прикладных задач.

Тема: Transfer Learning in NLP
Материалы на почитать/посмотреть:

Статьи (обязательно):
1. Deep contextualized word representations, Peters et al., 2018
1. Universal Language Model Fine-tuning for Text Classification, Howard and Ruder, 2018

Статьи в блогах:
1. towardsdatascience.com/elmo-helps-to-further-improve-your-word-embeddings-c6ed2c9df95f
1. nlp.fast.ai
1. jalammar.github.io/illustrated-bert

Для того, чтобы лучше себе представлять, как работают свёрточные эмбеддинги в ELMo, можете посмотреть вот эту лекцию:
https://youtu.be/Lg6MZw_OOLI

BERT скорее всего не разберём, потому что мы ещё не разобрали трансформеры, а трансформеры не разберём, потому что мы ещё не разобрали attention.