p
пепе. :(.
Size: a a a
2020 September 01
AT
JS
С днем знаний!
ВР
Какие книги в день знаний 2020 лучшие по МЛ на рус? Как для начинающих и вообще бестселеры есть?
ИП
Виталий Рабош
Какие книги в день знаний 2020 лучшие по МЛ на рус? Как для начинающих и вообще бестселеры есть?
По нейронкам Николенко "Глубокое обучение. Погружение в мир нейронных сетей"
ИП
Ну и лично мне очень понравилась "Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow. Концепции, инструменты и техники для создания интеллектуальных систем" Жерон Орельен
ЕТ
посоветуйте пожалуйста как можно ускорить подготовку данных?
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
IG
посоветуйте пожалуйста как можно ускорить подготовку данных?
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
ну pymorphy может наверное долго считатся, а почему токенизаторм каким-нить из nltk не воспользоваться?
ЕТ
ну pymorphy может наверное долго считатся, а почему токенизаторм каким-нить из nltk не воспользоваться?
я только пайморфи знаю)
ЕТ
а можно пример или слова которые гуглить?
ЕТ
там 20к строк примерно
IG
я только пайморфи знаю)
ну и судя по коду у тебя parse pymorphy 2 раза вызывается, можно наверное преобразовать функции в одну или еще что-нибудь чтобы не вызывать два раза
ВР
посоветуйте пожалуйста как можно ускорить подготовку данных?
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
если прально понял задачу, то так буде тлучше re.sub(r'[\s]{2,}', ' ', seq)
ВР
строки 54 - 60
ВР
тебе надо сделать чтоб были только 1 пробел везде?
IG
а можно пример или слова которые гуглить?
если про токенизатор, это вроде одно из того что у тебя делает функция
Seq2Vec, то воспользоваться nltk, тоесть погуглить nltkВР
seq = re.sub(r'[\s]{2,}', ' ', str(seq))
seqArray = re.sub(r'[^A-zА-яЁё ]', '', seq).split()
seqArray = re.sub(r'[^A-zА-яЁё ]', '', seq).split()
ЕТ
IG
а чего тебе эту штуку
mp = morph.parse(word) не вызывать один раз?IP
посоветуйте пожалуйста как можно ускорить подготовку данных?
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
https://pastebin.com/8G4eQB8g
есть датасет с колонками [text, label]
text это предложение на русском, label класс 1,2,3
я пытають рассчитать колонку model, что бы там были эмбеддинги предложений для обучения лстм
но оно уде 3 часа считается
Самое простое - составить словарь токенов, их предобработать пайморфи вот так: vocab_norm = {token: preprocessed_token}, и нормализовать каждый токен в датасете уже не с помощью morpher.parse, а с помощью vocab_norm.get(token)