DD
Толока. Нужно много париться с обучающими и контрольными заданиями, но когда всё настроишь, то можно большие объемы размечать.
Size: a a a
2021 July 15
КМ
А чем отличается т5 от https://huggingface.co/cointegrated/rut5-base?
DD
Мой rut5-base - просто русская вырезка из мультиязычного mT5 (плюс multitask версия пофайнтюненная на нескольких небольших русских датасетах), а Сберовский, как я понимаю, обучали с нуля на бОльшем объеме русских текстов.
SM
Да, мы учили «с нуля».
SS
Пардон. Но там, вроде, куча ссылок разных запощена. Ну и html - это же не plain text, в нем все уже расструктурировано и размечено. Нужно, по большей части, просто добраться до нужного места в этой структуре. Можно, конечно, превратить все в plain text и делать NER на нем 🙂
SP
Пробуем работать с ребятами из LabelMe
SP
Напишу, кстати, по результатам.
LS
Всем привет! Подскажите, плиз! Я дообучила фасттекст, получила новые эмбеддинги. А теперь мне сказали. Все перепиши под Спарк. А можно как-то эмбединги полученные ранее применить в Спарке?
d
Мне как-то даже неудобно будет первой ссылкой из гугла ответить
LS
Ответьте, уж пожалуйста, может я запрос неверный пишу
t2
Ответьте запросом в гугл. Эффективные запросы - это полезные знания
t2
Можете еще указать какая у вас при этом локация указана :)
t2
Я обычно на US переключаю, если испытываю проблемы с сомнительной выдачей
LS
Нашла на 7 странице в выдаче от johnsnowlabs... может, про этот ответ имелось ввиду.
t2
Видали кстати че Яндекс удумал? Как думаете, здоровая затея?
d
Может я задачу не так представляю
PySpark можно?
Если да, то: https://futurice.com/blog/classifying-text-with-fasttext-in-pyspark
PySpark можно?
Если да, то: https://futurice.com/blog/classifying-text-with-fasttext-in-pyspark
FF
В гугл колабе при выпадении ошибки, предлагается погуглить её на Stackoverflow вот этот крутая вещь
t2
Это да, круто