"Эмерджентность на базисных моделях" из алл ю нид?https://www.facebook.com/sergey.karelov.5/posts/4262543910447933Sergey KarelovГибель или взлет, что он нам несет – поворот к базисным моделям (это революция в обучении машин, последствия которой пока непредставимы).
Для подавляющего числа читателей, термин «базисные модели (foundation models - адаптируемые к приложениям модели машинного обучения, которые обучаются независимым от задач способом на необработанных данных) неизвестен. А ведь это самый важный технологический термин ближайших десятилетий.
Обучение машин на базисных моделях имеет две принципиальные особенности, позволяющие говорить о
смене парадигмы машинного обучения и о
революционном прорыве в развитии ИИ технологий:
1) Переход количества в качество обучения при колоссальном масштабировании моделей.
2) Эмерджентность (возникновение у системы свойств, отсутствующих у ее элементов) умений прикладных систем, полученных путем машинного обучения на «базисных моделях».
Поэтому не будет преувеличением сказать, что переход на базисные модели обучения машин повлечет:
• гигантские практические последствия для многих областей деятельности людей, несопоставимые даже с революциями пара, электричества и атома.
• сопутствующие этому риски столь же титанические, как в части социальных последствий, так и в плане создания непреодолимых препятствий для дальнейших научно-технологических разработок.
Только представьте.
- Поисковик Google (созданный на базисной модели BERT) для 4 млрд землян осуществляет 6 млрд поисковых запросов в день.
- Система обработки естественного языка GPT-3 от OpenAI, используемая десятками тысяч разработчиков более чем 300 приложений, генерирует 4,5 млрд слов в лень, что позволит ей к концу следующего года произвести больше текстов, чем было накоплено человечеством за всю докомпьютерную эпоху.
И это лишь только начало. Переход на базисные модели через 10-20 лет может привести не только к технологиям уровня возможностей человеческого интеллекта (AGI), но и вообще к слабо представимым последствиям, типа материализации «призрака трансгуманизма», о котором я писал 4 дня назад в посте "Призрак бродит по планете, призрак трансгуманизма.
Манифест Джека Кларка на Stanford HAI."
Ведь базисные модели - это те модели из «Манифеста Кларка», что он назвал для массового читателя более привычным для них термином «Большие модели».
Это новое поколение моделей, что может открыть для людей невиданные ранее материальные и нематериальные блага, которые:
✔️ получат лишь самые богатые бизнесмены, высокие правительственные чиновники и ведущие разработчики ИИ,
✔️ а подавляющему большинству людей эти сверхценные блага просто не достанутся.
Помимо обострения неравенства и централизации власти, распространение приложений на основе базисных моделей, способно провоцировать
✔️ появление на Земле новых классов предубеждений, деформирующих коллективный интеллект человечества;
✔️ полной отказ от понятия «истина».
Наконец, мы даже не можем представить к каким новым классам катастроф могут вести такие приложения в стратегических инфраструктурах.
Подробней о перспективах и рисках базисных моделей читайте отчет CRFM - Стэнфордского центра человеко-ориентированного ИИ (HAI) по изучению базисных моделей (именно здесь выступал со своим «манифестом» Джек Кларк).
Под отчетом, соавтор которого содиректор HAI и бывший руководитель Google Cloud AI Фэй Фэй Ли, более 60 подписей.
Авторы пишут:
• нужно торопиться уводить базисные модели из под полного контроля китов БигТеха, движимых лишь бизнес-мотивацией;
• необходимо срочное создание инфраструктуры для общественных проектов ИИ, подобных космическому телескопу Хаббла и Большому адронному коллайдеру.
Подробней - ссылка в коменте
https://arxiv.org/abs/2108.07258 
