Когда вы используете в исследованиях не huggingface-обёртки а блоее голый торч или другие фреймворки, почему вы это делаете?

А не подскажите, чем переводят из standoff формата разметки в BIO?

попробуй networkX, pyvis или visdcc

Благодарю

Добрый день. Есть ли простой способ уговорить natasha распозновать единичные инициалы:
" Сегодня ко мне заходили К. И Н., Рассказывали про П.Ж."?

Грубо говоря хотелось бы, чтобы у Кафки можно было отличить упоминания К. от использования предлога.

А принудительно по биграммам с точкой нельзя прикрутить? Все-таки предлоги в конце предложения не ставятся.

Всем привет! Файнтюню трансформер, но никак не могу разобраться с воспроизводимостью. Если кто то решил уже данную проблему можете пожалуйста поделиться кодом того, что надо фиксировать при тренировке

Стандартные для торча сиды зафиксировал, но все равно разные результаты

в ods видел вот такой сниппет, но сам ещё не пробовал:

def set_random_seed(seed):
   random.seed(seed)
   np.random.seed(seed)
   os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":4096:2"
   os.environ["PL_GLOBAL_SEED"] = str(seed)
   os.environ["PYTHONHASHSEED"] = str(seed)
   torch.manual_seed(seed)
   torch.cuda.manual_seed_all(seed)
   torch.backends.cudnn.benchmark = False
   torch.backends.cudnn.deterministic = True

Спасибо, работает. Но там с моей стороны небольшая ошибка оказывается

а что может означать эта строчка

    os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":4096:2"

Я особо не разбирался в них. Я человек простой, вижу код жму CTRL+C

что-то такое гуглится https://pytorch.org/docs/stable/cudnn_rnn_determinism.html

что-то связанное с явным указанием параметров буфера, как оказалось

Коллеги, доброго дня!  меня терзают два вопроса:
1. Есть адрес c почтовым индексом, городом, домом, улицей и квартирой. Разделитель нестабилен, порядок сущностей может меняться.
Вопрос: чем извлекать город, улицу, дом, квартиру? Как я понимаю - наташей. Ок. Отсюда второй вопрос

2.: нет ли в открытом доступе некоего тестового набора данных с реальными физическими почтовыми адресами (вида индекс, город, улица, дом ) и тд? Желательно, с грязными значениями.

Всё, всем спасибо , вопрос решился)

Народ, а есть какой-то лайтовый MNT? У меня задача перевода на английский коротких предложений, где-то в пределах 5-7 токенов.

В смысле, претренированная модель? Или что?

https://huggingface.co/Helsinki-NLP/opus-mt-en-ru ?

привет! А как в итоге решился? У нас была подобная задача — если честно, Наташа не очень работала, т. к. по сути кроме адреса в строке ничего и не было, порядок нестабилен