Грубо говоря взяли градиентный спуск, изобретенных черти когда и весь прогресс - это продавливание мощностями чтобы быстрее работало. Рынок потребления - компании видят, что спросом пользуется, вот и давят на TPU процессоры, как нвидиа и прочее. А по сути ничего нового, просто ищут куда применить чисто на практике ;)