Tesla создала свой суперкомпьютер Dojo. Он нужен компании, так как подрядчики не справлялись с обучением автопилота, который учился по видеосъемка с автомобилей Tesla.
Это достаточно необычная цель для создания суперкомпьютера, поскольку они используются для сложных математических вычислений и моделирования, например, краш-тестов для автомобилей или процесса химических реакций для фармакологии. Единственная польза от вложений в суперкомпьютеры — экономия на производстве. У Tesla стоит задача отказаться от радаров и лидаров, поэтому моделирование суперкомпьютера под одну достаточно узкую задачу вызывает удивление. Хоть Илон Маск и обещает, что количество смертности на дорогах может сократиться более чем на 99%.
Ключевой компонент Dojo — процессоры Dojo D1. Чип выпускается в соответствии с 7-нм технологическим процессом и обеспечивает вычислительную мощность 362 терафлопса. По мощности он превосходит Intel и NVIDIA, которые выпускают аналогичные чипы для ИИ.
Согласно рейтингу суперкомпьютеров TOP500, самая мощная машина с мощностью в 442 петафлопса находится в Японии. На втором месте компьютер, что в три раза медленнее лидера — американский Summit, который обладает мощностью в 149 петафлопс. Dojo с его 68,75 петафлопс может оказаться на шестом, седьмом или восьмом месте в свежем рейтинге.
Tesla утверждает, что Dojo способен достичь мощности в экзафлопс: экзафлопс - это один квинтиллион операций с плавающей запятой двойной точности в секунду (дофига). Однако технически Dojo назвать суперкомпьютером нельзя — он находится в стадии сборки и к нему добавятся компоненты.
В
выложенных Маском whitepaper есть еще одна любопытная деталь. Tesla придумала новый формат представления в компьютере чисел с плавающей запятой (8-битный, CFloat8), специально предназначенный для специфических задач обработки данных в нейронных сетях. Это не что-то новое - лет пять назад AI-подразделение Google Brain тоже придумала свой формат представления чисел с плавающей запятой - bfloat16 (Brain Floating Point). Но Маск утверждает, что придуманный Tesla формат способен в некоторых специфических операциях ускорить обработку данных в 6-8 раз.