AK
Почему мало? Там лосс перестал падать
Size: a a a
2020 July 03
AK
Не, примера нет
MT
Надо будет покапаться тогда, видимо.
MT
Почему мало? Там лосс перестал падать
Хм, у меня после первой эпохи он еще продолжал расти, мб разница в том как меняется лернинг рейт или в словаре.
MT
А в чем существенная разница у Slovnet от соответствующего класса у transformers?
MT
Жалко, конечно, что нет скрипта для конвертации в Ваш формат
AK
Концептуально то же самое. Веса от Transformers можно загрузить, но надо конвертировать. В Slovnet используется стандартный TransformerEncoderLayer из PyTorch. Когда писали Transformers его не было
AK
Если админы не сочтут за спам (а если сочтут, то просьба ограничиться предупреждением и сносом поста), то для опытного пользования предлагается графовая аналитика взаимодействий в группах в Телеграм - включая эту группу - описано тут: https://blog.singularitynet.io/reputation-system-in-aigents-supporting-telegram-groups-and-more-c43f0cf5053d (анализируется только характер и интенсивность взаимодействий без сентимента - про сентименит я отдельно постил тут раньше). Фидбек можно в личку 😊
AK
Правда может быть проблема в том что в Slovnet по совету Roberta не использует input с типом токена token_type_ids
MT
Концептуально то же самое. Веса от Transformers можно загрузить, но надо конвертировать. В Slovnet используется стандартный TransformerEncoderLayer из PyTorch. Когда писали Transformers его не было
Конвертация иногда может представлять не простую задачу xD
Спасибо за ответы!
Спасибо за ответы!
MT
Правда может быть проблема в том что в Slovnet по совету Roberta не использует input с типом токена token_type_ids
О, а его я использовал, хм, буду иметь в виду
MT
Кстати, для NER берт морозился?
AK
Эмбединги да, энкодер нет
MT
Кстати, раз в Вашей реализации нет token_type_ids, то как Вы конвертили и запускали RuBERT? Он же обучался с использованием этих токенов. Или данные по качеству взяты от deeppavlov?
AK
Ковертируем вместе с token_type_ids, выковыриваем веса с эмбедингами token_type_ids, дообучаем, получается NewsRuBert
Когда давно давно использовал чистый RuBERT, передовал token_type_ids
Когда давно давно использовал чистый RuBERT, передовал token_type_ids
MT
Понял, спасибо :)
MT
Для воспроизведения видимо необходимо иметь AWS акк, правильно? Для того, чтобы скачать данные
MT
Или есть другой способ получить данные, без регистрации?
AK
данные в яндекс.облаке, регистрация не нужна
MT
я про строки в нотбуке:
if not exists(NE5):
s3.download(S3_NE5, NE5)
s3.download(S3_FACTRU, FACTRU)
и тп
if not exists(NE5):
s3.download(S3_NE5, NE5)
s3.download(S3_FACTRU, FACTRU)
и тп