подскажите пожалуйста почему керас падает в начале обучения?

x_train это лист из листов вида [0.03505, 0.01628, 0.01102,...]
x_train это нумпай массив из листов вида [1 0 0]

model = Sequential()
model.add(Embedding(10000, 8, input_length=200))
model.add(LSTM(32, recurrent_dropout = 0.2))
model.add(Dense(1, activation='sigmoid'))
history = model.fit(x_train,  y_train, epochs=15, batch_size=128,  validation_split=0.1)

Model was constructed with shape (None, 200) for input Tensor("embedding_3_input:0", shape=(None, 200), dtype=float32), but it was called on an input with incompatible shape (None, 1)

а если попробовать не x_train, a x_train[0], то что выдаёт?

Такое но длиннее раз в 10

модель ожидает на входе np.array, а у тебя лист листов

Не

Он выход ждал 1 а получал 3

так то сорев хороший был, многие из него потом в прод потащили

непонятно, зачем через год откопали, надеюсь, новый готовят

Да, про Северсталь мне что-то рассказывали, но сейчас Норникель и иже с ними туда же гребут, жестят с требованиями и многого хотят ))

пиклы специфичны к версии. здесь сравниваются альтернативы: https://link.medium.com/ihj9zv9Hr9

откуда инфа про НорНикель? Собеседовались?

Ага, токо там сплошь догадки ... Есть, что добавить?

В НН несколько групп. Возможно тут речь идет о модной Цифровой Лаборатории НН, которые занимаются всем подряд. Я работаю в другой небольшой группе, которая не имеет отношения к Лаборатории. Просто стало интересно у кого собеседовались :)

Как можно уменьшить объем ОЗУ который требуется для загрузки датасета для обучения лстм?
В датасете 30000 записей (фраза, номер класса, список эмбеддингов слов из фразы)

Все это занимает 12гб ОЗУ а в компе ее 14 Гб и керас крашится во время обучения

Порциями подгружать

Сейчас я просто столбцы из пандаса гружу в xtrain y train

А как? Я читал про генераторы но пока до конца не понял как делать

Можете дать слова которые гуглить?)

@m_r_tkachenko а ты какой фреймворк юзаешь?