А зачем тогда вообще заканчивать магистратуру?

Отсрочка от армии, скорее всего

Ну как-то же отучился 2 года, не отчисляться же :)

Не, военник есть, закончил военную кафедру на бакалвре

Можно взять русский t5-small, оторвать декодер, и пришить к энкодеру голову для классификации. Вот мой рецепт, как такое сделать.
Такая модель весит 122мб (против 678мб у DeepPavlov/rubert-base-cased) и по моим оценкам на GPU работает раза в 3 быстрее берта.
По качеству NLU хороших сравнений пока нет, но если попробуешь на своём датасете сделать оценку, будет круто)

Что значит нормальные применения? Для задачи классификации вообще корректно советовать генеративную left-to-right модель? Я сейчас специально в оригинальную gpt-3 статью посмотрела и даже не увидела, чтоб ее тестировали на таких задачах, только NLU и NLI

Так я точно так же отношусь к оригинальной gpt-3. Я там дальше уточнил, что я имею в виду. Для классификации предложений, в рамках которой был задан изначальный вопрос и предложен этот вариант, по-моему gpt3 вряд ли будет хорошо работать. Сравнивать её на этой задаче вполне корректно, почему нет?

Всем привет! Подскажите, есть ли   подобная группа по работе с изображениями?

Возможно немного не по теме, а не jukebox есть text2music сетки?

Алсо: какие сейчас есть крутые text2speech на русском/английском?

У меня вопрос по картинкам, могу ли тут задать, или как оффтоп будет?

Можно попробовать задать тут: https://t.me/opencv_ru

Благодарю

Привет всем. Не могли бы подсказать...
Задача состоит в следующем. Есть модель LSTM для многозначной классификации токсичности комментариев. На вход подается предложения для анализа и получаю 2 метки токсичности.  

Есть ли возможность узнать какая часть предложения характеризует первую метку, а какая вторую

Привет!
Прям супер очевидного пути нет, но можно придумать костыль.
Каким образом выходы LSTM передаются в слои для классификации?

Послушаю тоже, а также может быть чуть дофоомулирую вопрос «под себя»: можно ли узнать какие токены (слова) дали наибольший вклад в ту или иную вероятность той или иной метки.

eli5? кажется, именно с формулировкой про слова она подходит, и не только для lstm

Сама модель:
model_lstm = Sequential()
model_lstm.add(Embedding(num_words, 128, input_length=max_comment_len))
model_lstm.add(SpatialDropout1D(0.5))
model_lstm.add(LSTM(40, return_sequences=True))
model_lstm.add(LSTM(40))
model_lstm.add(Dense(6, activation='sigmoid'))
model_lstm.compile(optimizer='adam',
             loss='binary_crossentropy',
             metrics=['accuracy', 'AUC'])


data = pad_sequences(sequence, maxlen=max_comment_len)
result = model_lstm.predict(data)

Ну да, ну да. https://eli5.readthedocs.io/en/latest/tutorials/black-box-text-classifiers.html

Прям картиночки там есть.

Спасибо, не знал про нее.

Спасибо