Телеграмм чат группы dlinnlp страница 2

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

DL in NLP

2929 membersпожаловаться на группу

1
«
…
‹
1
2
3
›
…
»

2018 October 07

Для подготовки ко второму семинару
1) досмотрите лекцию про Word2Vec (с 23 минуты до конца) https://youtu.be/ERibwqs9p38?t=1377
2) посмотрите лекцию про GloVe (полностью) https://youtu.be/ASn7ExxLZws
3) выполните второй квиз https://goo.gl/forms/3N4f4mYM8ePUg33h1
4) задайте вопросы, которые захотите обсудить на лекции https://goo.gl/forms/hbHOqmyAXK6n7HZl2

Lecture 2 | Word Vector Representations: word2vec

Lecture 2 continues the discussion on the concept of representing words as numeric vectors and popular approaches to designing word vectors. Key phrases: Nat...

источник

116217:59пожаловаться #1

Также на этой неделе мы начнём постить дополнительные материалы. Статьи, видео, примеры проектов и ещё раз статьи. Их тоже можно будет обсудить на семинаре.

источник

113618:48пожаловаться #2

И первая рекомендованная для чтения статья.
Distributed Representations of Words and Phrases
and their Compositionality
Tomas Mikolov et al, 2013
https://arxiv.org/pdf/1310.4546.pdf

Пожалуй, это основная статья по Word2Vec. В ней описана архитектура Skip-gram и несколько трюков, которые помогли W2V стать более вычислительно эффективным: Hierarchical Softmax и Negative Sampling
В лекции рассказана большая часть статьи, что должно упростить чтение.

источник

131418:56пожаловаться #3

2018 October 08

Сегодняшняя статья:
Enriching Word Vectors with Subword Information
Piotr Bojanowski, Edouard Grave, Armand Joulin and Tomas Mikolov
https://arxiv.org/pdf/1607.04606.pdf

В статье представлен метод получения векторных представлений fastText, который избавлен от одной из больших проблем классического word2vec: невозможности получения векторов для слов, отсутствующих в обучающей выборке (out-of-vocabulary words). Основная идея в том, чтобы использовать для построения эмбеддинга char n-gram.
На самом деле в своей практике я (и не только я) использую предобученный fastText заметно чаще, чем предобученный классический w2v / GloVe, поэтому считаю эту статью очень важной. К сожалению, она вышла уже после записи стэнфордских видео, поэтому про них ничего не рассказано, но мы обязательно затронем этот алгоритм на семинаре.

Дополнительные ссылки:
https://fasttext.cc - офсайт
https://youtu.be/CHcExDsDeHU - видео с презентацией статьи
https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md - бинарники готовых векторов, обученных на википедии для 294 языков

Library for efficient text classification and representation learning

источник

144210:42пожаловаться #4

Готовые домашние задания присылайте на почту nlp_course@ipavlov.ai c темой "Assignment N", где N - номер домашки. Просьба не указывать своё имя в самом ноутбуке.

источник

140610:59пожаловаться #5

2018 October 11

Напоминаю, что сегдоня второй семинар. Время и место проведения те же самые. Посмотрите лекции и выплоните квиз до 19, если ещё нет и приезжайте на Физтех / заходите на YouTube.
Ссылка на трансляцию: https://www.youtube.com/watch?v=sV8Ig5APq2g

Также регистрация на курс официально закрыта.

Просьба тех, кто хочет посетить семинар сегодня и не был на прошлом написать @vlyalin в ЛС, я проверю вас в списках.

DL in NLP seminar 2. Word2Vec, GloVe, FastText

Второй семинар курса "Глубокое обучение в обработке естественного языка".

источник

129612:36пожаловаться #6

Attention: если вы сегдоня посещаете семинар впервые и вы не из МФТИ, отпишитесь в ЛС @vlyalin, чтобы я проверил вас в списках (вдруг в сообщении выше не заметили).

источник

117217:20пожаловаться #7

Напоминаю, что завтра в 23:59 мягкий дедлайн по первому ДЗ. После этого баллы будут линейно дисконтироваться вплоть до половины от максимального в день жёсткого дедлайна (19 октября).

источник

116722:32пожаловаться #8

2018 October 12

Подготовка к третьему семинару:
1) Лекция https://youtu.be/uc2_iwVqrRI
2) Квиз https://goo.gl/forms/hl1FNCPBFgjxa5sR2
3) Вопросы https://goo.gl/forms/sAlrw7erAcdL2pYT2

На нём мы начнём наше обсуждение нейронных сетей, поговорим про классификацию и даже будет немного теории информации.

Lecture 4: Word Window Classification and Neural Networks

Lecture 4 introduces single and multilayer neural networks, and how they can be used for classification purposes.

Key phrases: Neural networks. Forward computation. Backward propagation. Neuron Units. Max-margin Loss. Gradient checks. Xavier parameter initialization. Learning rates. Adagrad.

-------------------------------------------------------------------------------

Natural Language Processing with Deep Learning

Instructors:
- Chris Manning
- Richard Socher

Natural language processing (NLP) deals with the key artificial intelligence technology of understanding complex human language communication. This lecture series provides a thorough introduction to the cutting-edge research in deep learning applied to NLP, an approach that has recently obtained very high performance across many different NLP tasks including question answering and machine translation. It emphasizes how to implement, train, debug, visualize, and design neural network models, covering the main technologies of word vectors, feed-forward…

источник

117914:23пожаловаться #9

Второе домашнее задание.

В нём вы должны будете самостоятельно написать CBOW и skip-gram word2vec, а также воспользоваться готовой библиотекой для fastText.
Мягкий дедлайн: 19 октября
Жёсткий дедлайн: 2 ноября

Пожалуйста, не затягивайте со сдачей, нам предстоит ещё как минимум 3 домашних задания и проект.

источник

116714:53пожаловаться #10

Ссылка на ноутбук с домашним заданием:
https://github.com/Guitaricet/deep-nlp-seminars/blob/master/seminar_02/embeddings.ipynb

Guitaricet/deep-nlp-seminars

Materials for deep NLP course. Contribute to Guitaricet/deep-nlp-seminars development by creating an account on GitHub.

источник

131014:54пожаловаться #11

В этом семестре мы хотим провести две coding session - два 3-4 часовых занятия на котором мы будем заниматься только практикой. Делать домашки (на первой) или помогать вам с проектом (на второй). Нравится ли вам эта идея, и придёте ли вы?
public poll

Да, но только, если это будет в Москве – 31
👍👍👍👍👍👍👍 48%

Да, и я готов приехать в Долгопрудный – 22
👍👍👍👍👍 34%

Нет, лучше я разберусь самостоятельно – 12
👍👍👍 18%

👥 65 people voted so far.

источник

128820:25пожаловаться #12

2018 October 13

Начну постить то, что обещал на последнем семинаре

Byte pair encoding (BPE) - хороший способ бороться с большим размером словаря и обрабатывать языки со сложной морфологией. Мы ещё поговорим про него, когда будем обсуждать машинный перевод.

Статья: https://arxiv.org/pdf/1508.07909.pdf
Видео про различные проблемы со словарём и то, как можно их решать: https://www.coursera.org/lecture/language-processing/how-to-deal-with-a-vocabulary-mvV6t

How to deal with a vocabulary? - Sequence to sequence tasks | Coursera

Video created by National Research University Higher ...

источник

130917:40пожаловаться #13

2018 October 14

Сегодняшняя полезная (надеюсь) ссылка: глоссарий терминов машинного обучения.

https://developers.google.com/machine-learning/glossary/?utm_source=google-ai&utm_medium=card-image&utm_campaign=training-hub&utm_content=ml-glossary

Google Developers

Machine Learning Glossary | Google Developers

Compilation of key machine-learning and TensorFlow terms, with beginner-friendly definitions.

источник

126816:06пожаловаться #14

2018 October 15

Так как мы с вами потихоньку начинаем говорить про нейросети, предлагаю освежить свои знания по линейным моделям. И предлагаю сделать это с помощью статьи из восхитительного курса по классическому ML от Open Data Science.

https://habr.com/post/323890/

Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии

Всем привет! Сегодня мы детально обсудим очень важный класс моделей машинного обучения – линейных. Ключевое отличие нашей подачи материала от аналогичной в курс...

источник

122321:25пожаловаться #15

2018 October 16

Отличная статья про однослойные нейронные сети, очень рекомендую к прочтению, она небольшая.
(В названии есть слово convolutional, но она не про свёртки, так что обязательно читайте уже сейчас)

http://cs231n.github.io/neural-networks-1/

cs231n.github.io

CS231n Convolutional Neural Networks for Visual Recognition

Course materials and notes for Stanford class CS231n: Convolutional Neural Networks for Visual Recognition.

источник

122913:40пожаловаться #16

2018 October 18

dlinnlp

Подготовка к третьему семинару:
1) Лекция https://youtu.be/uc2_iwVqrRI
2) Квиз https://goo.gl/forms/hl1FNCPBFgjxa5sR2
3) Вопросы https://goo.gl/forms/sAlrw7erAcdL2pYT2

На нём мы начнём наше обсуждение нейронных сетей, поговорим про классификацию и даже будет немного теории информации.

Lecture 4: Word Window Classification and Neural Networks

Lecture 4 introduces single and multilayer neural networks, and how they can be used for classification purposes.

Key phrases: Neural networks. Forward computation. Backward propagation. Neuron Units. Max-margin Loss. Gradient checks. Xavier parameter initialization. Learning rates. Adagrad.

-------------------------------------------------------------------------------

Natural Language Processing with Deep Learning

Instructors:
- Chris Manning
- Richard Socher

Natural language processing (NLP) deals with the key artificial intelligence technology of understanding complex human language communication. This lecture series provides a thorough introduction to the cutting-edge research in deep learning applied to NLP, an approach that has recently obtained very high performance across many different NLP tasks including question answering and machine translation. It emphasizes how to implement, train, debug, visualize, and design neural network models, covering the main technologies of word vectors, feed-forward…

Напоминаю, что сегодня у нас третий семинар.
Время просмотреть лекцию и сдать квиз ещё есть.

Как и в прошлый раз, ели вы ещё не были на наших семинарах и вы не с Физтеха, напишите @vlyalin для проверки в списках

источник

113510:25пожаловаться #17

Через полчаса начнётся третий семинар курса
Ссылка на YT-трансляцию: https://youtu.be/SCmAKXokyoE

Также напоминаю, что завтра в 23:59 мягкий дедлайн по второму домашнему заданию и жёсткий дедлайн по первому

DL in NLP seminar 3. Neural networks 1

источник

118218:29пожаловаться #18

2018 October 23

Запоздало, но всё-таки вот задание к следующему семинару:

1) Лекции: https://youtu.be/isPiE-DBagM и https://youtu.be/i94OvYb6noo (обязательно)
https://youtu.be/gYpoJMlgyXA (опционально, но рекомендую)
2) Квиз: https://goo.gl/forms/VjWf3a7ED879Prp03
3) Вопросы: https://goo.gl/forms/k03bVTfnX9XWOUVe2

На семинаре снова поговорим про бэкпроп, обсудим методы оптимизации для нейросетей и много практических советов.

Lecture 5: Backpropagation and Project Advice

Lecture 5 discusses how neural networks can be trained using a distributed gradient descent technique known as back propagation.

Key phrases: Neural networks. Forward computation. Backward propagation. Neuron Units. Max-margin Loss. Gradient checks. Xavier parameter initialization. Learning rates. Adagrad.

-------------------------------------------------------------------------------

Natural Language Processing with Deep Learning

Instructors:
- Chris Manning
- Richard Socher

Natural language processing (NLP) deals with the key artificial intelligence technology of understanding complex human language communication. This lecture series provides a thorough introduction to the cutting-edge research in deep learning applied to NLP, an approach that has recently obtained very high performance across many different NLP tasks including question answering and machine translation. It emphasizes how to implement, train, debug, visualize, and design neural network models, covering the main technologies of word vectors…

источник

117612:18пожаловаться #19

2018 October 24

Сегодня в нашей нерегулярной рубрике всяких штук хочу рассказать про http://course.fast.ai

Довольно необычный курс по глубокому обучению, который руководствуется не подходом снизу-вверх (как мы), а подходом сверху-вниз. То есть уже на первом занятии они обучают нейросеть для классификации изображений, но как она работает, рассказывают только через несколько занятий.
Курс интересный, в нём много нового даже если вы уже хорошо знакомы с нейросетями. Многие занятия на 90% состоят из описания различных каггловских трюков для улучшения качества модели. В общем рекомендую. Если у вас много времени, можете посмотреть первую лекцию из него, думаю, я затрону пару моментов оттуда на завтрашнем семинаре.

Practical Deep Learning for Coders

Deep Learning for Coders with fastai and PyTorch: AI Applications Without a PhD - the book and the course

источник

105411:44пожаловаться #20

1
«
…
‹
1
2
3
›
…
»