Учитывая что в финальный образ они не попадают, то странно слышать, что все слои тоже отправляются. А даже если отправляются, между билдами будет отправляться только дельта. Всё что уже есть в регистри повторно туда лететь не будет
да, если есть то не заталкивается, но ему надо сначала просчитать хеш сумму слоя, что тоже время занимает. А когда слоев много, это уже не круто.
Если у тебя локальный докер или сворм то это не проблема. В k8s/ocp это уже ей может стать.