Добрый вечер
Решил поближе познакомиться с эмпирически подбираемыми параметрами нейронных сетей и у меня появились вопросы по этому поводу
1. Какой размерности может быть скользящее окно в скрытых слоях свёрточной нейронной сети и обязательно ли оно должно быть квадратным?
2. Какие значения может принимать скорость обучения? Обычно встречал значения от 0.01 до 0.2 где-то
3. Есть ли советы по Dropout-слоям - значению, а также где и когда их стоит использовать?
Также приветствуются любая дополнительная информация об упомянутых выше сущностях))
Заранее благодарен за информацию
Из того что пробовал:
1) Так понимаю под скользящим окном понимается ядро свертки же?
Когда пробовал кейс по восстановлению кадров из видеопотока, я использовал ядро свертки пропорциональное размерам кадра, в тестах пробовал и (16,9), и (4,3), и (5,5) , но субъективно было приятней работать с первыми двумя =)
2) Скорость обучения тоже подбирается индивидуально, я обычно адаптивную ставлю от 0.2 и ниже, а если модель на финальной стадии то 0.02 и по уменьшению. Скорость может быть в пределах от 0 до 1, но 0 и больше 0.7 не вижу оснований использовать.
3) Дропауты, пока что, добавлял только к моделям с полносвязными слоями и в задачах классификации по другому пока руки не дошли попробовать