Ну почему, а как же сверточные нейронные сети и рекурентные, в них есть свои особенности.
В рекуррентной, насколько я понял, для нейрона может существовать обратная связь со своей АЧХ и ФЧХ (регулировка амплитуды воздействия или же задержки).
Со сверточными совсем беда, их плохо понимаю и оставил напоследок.
Но, грубо говоря, если смоделировать отдельный базовый нейрон (сумма произведений + нелинейная функция активации), то на базе такой упрощенной модели можно составить сеть в общем-то любого масштаба и почти любой архитектуры (за исключением сверточной). Верен ли этот тезис?