Будет, лучше сначала собери,  потом обучай

Да тут спорный вопрос возник, в чем смысл 12-часового ограничения google colab, если модель можно дообучать) если запариться с сохранением промежуточных результатов и catastrophic forgetting в принципе можно избежать, судя по этой статье https://arxiv.org/abs/1612.00796

Ты можешь и общее обучение обучать по эпохам

А как это связано с тем сколько ты данных подаешь

Ну поделить данные так, чтобы с одной частью в 12 часов укладываться, потом сохранить результаты, перезапустить колаб, взять другую часть данных и продолжить на ней обучение

У тебя эпоха больше 12 часов?

Допустим, что нет.. Это скорее теоретический вопрос

Ну если нет то нет смысла делить данные

Допустим, что да.. Возможно такое?

Больше 12 часов

Ну тогда рандомно семплируй

И сокращая эпоху

насколько вообще велика вероятность получить приемлемый результат при таком подходе? Если сравнивать с обучением на полной выборке сразу без ограничений

Большой разницы между рандомными эпохами и целыми если достаточно долго тренировать

Спасибо 👍

Коллеги! Добрый день! Есть вопрос, касаемо онлайн курсов, хотел бы узнать профессиональное мнение, так как я новичок в мире IT и работе с большим объёмом данных. Прохожу курс Аналитики Данных в Яндекс Практикуме (основы Python, SQL, Jupiter и чуток ML, и т.п.). Что думаете об этом курсе? Также хотелось бы узнать рекомендации по развитию hard-навыков в работе с big data? Вообще я в финансовой сфере(кредиты, риски, бизнес-продакт и т.п.), м.б. есть локальные рекомендации касаемо именно этой сферы, хотя продуктовая аналитика также интересна. Было бы любопытно узнать об инструментах, которыми вы пользуетесь? Заранее спасибо, а также спасибо за контент в группе, он крайне полезен. 😏

Hello world

Who knows Java?

Join Этот чат переехал  @JavaLovesYou

Этот чат переехал  @JavaLovesYou