IS
Нет, надо мне всё-таки докопаться до организаторов, чтобы внесли ясность о том, что такое "внешние данные". Зря чтоли я конвертил всю ночь тексты?
Size: a a a
2020 June 26
АМ
Чет долго
АМ
Пайплайн максимум на час
АМ
Именно тексты подготовить
IS
Я их переводил в бертовые тензоры. Не знаю, как их быстрее готовить. Видимо, у меня ресурсов на это не хватает. Или ума.
АМ
Видимо
АМ
В имеет ввиду в ids?
АМ
Token ids, mask ids, segment ids?
АМ
Вы можете написать свой fit generator
IV
Фичген то не запрещён
АМ
И в батч генераторе паком на лету делать перевод текста в вектора
АМ
Во время обучения
IV
Единственно интересно, можно ли скрапать фичи к данным?😂
АМ
Я их переводил в бертовые тензоры. Не знаю, как их быстрее готовить. Видимо, у меня ресурсов на это не хватает. Или ума.
Взрослые дсы делают так
АМ
Чтобы из текста числом N не хранить 3 пака тензоров n x 512
IS
И в батч генераторе паком на лету делать перевод текста в вектора
мне кажется, что это дольше будет... каждый раз переводить тексты в токены и маски, а тут - один раз перевёл, и всё.
IS
Диска-то не жалко, пусть лежит.
АМ
Сомнительно =)
АМ
Я делаю так и норм