Ну мб машинка слабая я хз. Гилаб поднимает докер, докер сделает сборку, выкачивает зависимости, так как кэш скорее всего только на текущий коммит, ибо зависимости могут поменяться.
а зачем для того чтобы выкачать зависимости на машине сборки вам нужен докер ?
зависимости выкачиваются хостом, если вам так уж нужно положить данные прямо в докер то потом проще их туда просто скопировать - это минус нагрузка
далее, зависимости меняются не так часто, поэтому кеш композера должен работать и там выкачивать нечего вообще потому как композер лок у вас то в репе, по нему все и поставится