Это именно разные уровни вложенности смыслов

вот я тоже вижу такой эффект, использую logistic regression поверх labse для entities. С фичами из нижних слоев получается лучше

а куда планируете их выложить?

на сайте конфы будет

вот другая статья, там можно по ссылочкам походить - нет, сорри, старая https://www.researchgate.net/publication/335781217_Analyzing_the_Structure_of_Attention_in_a_Transformer_Language_Model

спасибо, но мне надо размеченный уже дата. Если данные размеченные то было бы круто.

экспортируй какие-нибудь открытые чаты из дискорда, там же уже есть разметка реакций. Или в каком плане разметка?

Не думаю что есть какая-то закономерность, дело эксперимента

Либо закономерность есть но никто строго не смог аргументировать,что именно так работает.только наблюдения на опыте, но у каждого он свой

Привет всем. По рецептам @cointegrated https://gist.github.com/avidale/dc7a26eb3cffc90075bf100e15b5950f попробовал энкодер T5 - как эмбедер для сиамской сети для бинарной классификации. Получилось не очень хорошо, f1 около 0.81, различые берты дают около 0.89, а обучаются быстрее. Эмбеддер используется один на обе стороны, пробовал и дообучать и фризил энкодер - результаты стабильно плохие. По графикам выглядит, будто вообще не учится. Пробовал и один линейный слой сверху как в тетради, делал глубже и надстройки поверх эмбедеров и объединяющие слои. Может есть идеи почему так?

Зато опыт хороший, спасибо за шеринг

С ходу идей не приходит (кроме того, что у t5-small тупо capacity меньше, чем у bert-base), но если покажешь свой код, могу попробовать поревьюить.

Спасибо. Будет здорово. https://github.com/Promyer/rut5_siam/tree/master
Вот модель. Все остальное стандартно, батч разве что 48, а так даже Adam с теми же параметрами, токенизатор с
padding="max_length", truncation=True, max_length=128
В коде модели только по другому голова устроена, я в Readme пару слов сказал про это.

Посмотрел код, вроде всё адекватно, никаких проблем с этой архитектурой не вижу.
Думаю, что энкодер точно нужно дообучать, ибо T5 по умолчанию на mean pooling не рассчитан. Ну или, как вариант, можно вместо mean pooling сделать пулер, использующий атеншн.

А ты же использовал small модель?
Можно попробовать для сопостовимости дообучиться на cointegrated/rut5-base-multitask, у неё энкодер размером примерно с bert-base.

Да, спасибо, попробую. Я использовал разные берты, в том числе и маленькие, они работали лучше. Попробую разве что подольше поучить, чтобы mean_pooling завелся.

Друзья, подскажите, а не знает ли кто датасет, который содержит как численные и категориальные признаки, так и текстовую фичу?

Титаник?

В титанике нет полноценной текстовой фичи.

ок, ладно.
https://www.kaggle.com/c/mercari-price-suggestion-challenge/data