У меня была ошибка в том, что я коэффициенты не в том порядке в ответ вынесла

Ребят, вопрос. Надо будет проводить небольшой воркшоп по введению в нс. Начинать по традиции будем с полносвязных сеток. Хотелось бы сконцентрироваться на разных тех деталях. Пока в голове набросались стандартные пункты:
1) архитектура сети
2) базовые функции активации (сигмоида/тангенс/релу/лики релу) и сравнение их между собой. Мол, почему сигмоида хуже тангенса и почему оба они уже практически полностью заменены релу (на наглядных мат примерах сможем так увидеть проблему затухающего градиента)
3) разбор бэкпропа
4) регуляризация в сетях (L2, dropout neuron, dropout connection)
5) батч нормализация
6) кратенький обзор других оптимизаторов (Adam, rmsprop), но без математики особой. Просто общая суть и что такое моментум

Подскажите, какие ещё аспекты можно в полносвязных обсудить? Заранее спасибо

Ребят, вопрос. Надо будет проводить небольшой воркшоп по введению в нс. Начинать по традиции будем с полносвязных сеток. Хотелось бы сконцентрироваться на разных тех деталях. Пока в голове набросались стандартные пункты:
1) архитектура сети
2) базовые функции активации (сигмоида/тангенс/релу/лики релу) и сравнение их между собой. Мол, почему сигмоида хуже тангенса и почему оба они уже практически полностью заменены релу (на наглядных мат примерах сможем так увидеть проблему затухающего градиента)
3) разбор бэкпропа
4) регуляризация в сетях (L2, dropout neuron, dropout connection)
5) батч нормализация
6) кратенький обзор других оптимизаторов (Adam, rmsprop), но без математики особой. Просто общая суть и что такое моментум

Подскажите, какие ещё аспекты можно в полносвязных обсудить? Заранее спасибо

я бы еще добавил начальную инициализацию весов.

Точно!!! Вот про это я забыл

если будет какой-то цифровой формат (видео/pdf лекция), то кидай, с радостью посмотрю/почитаю.

С радостью бы, но язык, к сожалению, чешский :с

А lgbm юзают с sklearn-подобным апи или с родным?

какая версия либы?

2.3.1 lgbm

А sklearn какой?