если у меня 1000 страниц но из них 100 так и не проиндексированы, хотя запрещающих индексацию директив и правил в роботсе или заголовках хттп нет. Код валидный в плане технической реализации. Но Гугл бот на них тупо не заходит, так как не хватает краулингового бюджета (мое предположение), потому что он пасется постоянно на одних и тех же в которых нет никаких изменений. В таком варианте логическое предположение одно, дать понять боту на какие нужно заходить страницы а на которые не стоит по несколько раз без каких либо изменений. В помощь приходит 304 ответ сервера. Что бы отпали грядущие вопросы и предположения расписал возникновение идеи корректности настройки 304
1000 страниц и краулинговый бюджет 😂, Игорь, не смешите, проще внутренней перелинковкой и понять почему он их не индексит, чем городить с 304