Продолжая тему цветных картинок)) как мне кажется, довольно наглядное графическое пояснение от Николенко. Если минимум некоторой функции (без ограничения) лежит в красных зонах, то ближайшая точка ромбика к этому минимуму как раз будет приходится на одну из вершин ромбика. И только если минимум лежит в «синей» зоне, то тогда ближайшей точкой ромбика будет точка на его грани. Есть ещё и пояснение через проксимальный градиентный спуск