Самые крутые штуки сейчас:
1) видео\фотки. Сверточные сети(cnn): рецепторные поля, слои, max pooling, dropout, data augmentation, inner layer visualisation...
2) текст. Трансформеры: embedding, multi head attention
Общее - activation function, GAN, data normalization, SGD\adam\momentum, batch size, overfitting\early stopping, pre training... это всё не обязательно