Первый csv файл, с которым пока работаю, 8 гб

Какая обработка требуется? Насколько часто надо проводить эту обработку?

Не нужен тогда хадуп, пандаса хватит

Нахождение связей, затем нахождение изменений в полученной структуре

а на чем ты можешь обрабатывать? так-то hadoop это оверкилл для параллельной обработки на множестве узлов

У меня пока только стенд в виде виртуальных машин

Особенно если файл на одну машину влезает 😂

для обучения можно и спарк с кассандрой завести

В перспективе работать уже с другими файлами нужно будет
Сейчас пока только пишу скрипт для обработки, поэтому обхожусь именно таким датасетом

И конечно будет не однонодовая инфраструктура, а несколько кластеров

За это спасибо , рассмотрю такой вариант 👍🏻

для обучения можно и спарк с кассандрой завести

Привет всем. Как можно еще думать про смысл полносвязной сети, есть какие-нибудь статьи интересные. К примеру - полносвязную сеть можно рассматривать, как трансформацию вектора входных сигналов. Скажем, был вектор [х1,х2,х3] мы его умножаем на матрицу [3x3], т.е. каждый входной вектор получает новые 3 координаты в 3х мерном пространстве далее их складываем и получается новый вектор, к которому уже применяется функции активации, если матрица [5*3]  то мы переходим в 5 мерное пространство ну и т.д. т.е. интерпретация движение сигнала, как трансформация вектора в n мерном пространстве. Какие еще есть интерпретации и если есть киньте ссылку почитать?

Регрессия, биологическая

Если ты об одном нейроне и об линейной регресии, то вот такое я нашел или ты о чем-то другом, если да, то буду благодарен за ссылку
https://habr.com/ru/post/324736/

Experimental data are used on learning stage. After learning we get function which provides result for any input data. That is regression

а ты вот о чем "при регрессионной связи одному и тому же значению x могут соответствовать в зависимости от случая различные значения величины" - это все ж интерпретация входа и выхода, а не внутренних процессов.

All internal processes are described by single regression function

В целом конечно да, можно рассматривать всю нейросеть, как мега функцию n аргументов, но наверное так можно интерпретировать почти все, просто это не очень вносит ясности, то так да то же вариант.

может еще какие-то варианты есть из математики?