изначальный роботс был такой:
User-agent: *
Disallow: /admin/auth/
Disallow: /catalog/*?pr=*-*
Disallow: /catalog/*?s=*-*
Sitemap:
http://irice.ru/sitemap.xmlтак было написано в файле robots.txt и я его видел в браузере.
клиент в это время видел вот что:
User-agent: *
Disallow: /
он внёс изменение в роботс (вместо Sitemap:
http://irice.ru/sitemap.xml написал Sitemap:
https://irice.ru/sitemap.xml).
я эти изменения в браузере вижу.
через bertal показывает то, что видет клиент (disalow: /)
чему верить вообще?)