А
Всем привет. Можете подсказать есть ли сейчас какие-то открытые бибилотеки по Text summarization?
Size: a a a
2020 February 18
NS
Всем привет. Можете подсказать есть ли сейчас какие-то открытые бибилотеки по Text summarization?
NS
Всем привет. Можете подсказать есть ли сейчас какие-то открытые бибилотеки по Text summarization?
NS
Всем привет. Можете подсказать есть ли сейчас какие-то открытые бибилотеки по Text summarization?
D
И как оно резюмирует? Достаёт предложения целиком или додумывает само?
NG
Thank you a lot
A
вот я смотрю на BERT и он же ведь всегда везде word-level, да?
T
вот я смотрю на BERT и он же ведь всегда везде word-level, да?
в плане токенизатора?
A
ну то есть вот у него на первом слое входными данными являются целиком слова и базовые эмбеддинги этих слов
A
и соответственно нужен словарь этих эмбеддингов
c
и соответственно нужен словарь этих эмбеддингов
Словарь и есть базовые эмбеды
A
вот. Соответственно меня интересует вариант, когда словаря нет, а базовые эмбеды делаются из эмбедов символов. Как в flair.
T
вот. Соответственно меня интересует вариант, когда словаря нет, а базовые эмбеды делаются из эмбедов символов. Как в flair.
а цель достать эмбеддинги всех слов по отдельности?
c
вот. Соответственно меня интересует вариант, когда словаря нет, а базовые эмбеды делаются из эмбедов символов. Как в flair.
Ты можешь словарь строить и по нграммам или по символам, никто не запрещает же
CT
вот. Соответственно меня интересует вариант, когда словаря нет, а базовые эмбеды делаются из эмбедов символов. Как в flair.
а вопрос то собственно в чем?
A
цель в том, чтобы получить из предложений всякую полезную информацию, не имея при этом word-level словарей
T
ну просто полезная информация в последних слоях обычно, а не в первых
c
цель в том, чтобы получить из предложений всякую полезную информацию, не имея при этом word-level словарей
Ну почитай про bpe словарь, как пример
c
ну просто полезная информация в последних слоях обычно, а не в первых
Ну это совсем неправда