User-agent: * Allow: / # Служебные/инструментальные страницы здесь НЕ блокируем — они отдают # X-Robots-Tag: noindex (см. .htaccess). Так Google может их просканировать, # увидеть noindex и УБРАТЬ из индекса. robots.txt блокирует скан, но НЕ # индексацию → иначе «проиндексировано, несмотря на блокировку в robots.txt». # API (JSON) и redirect-хендлеры — не контент, держим закрытыми от скана. Disallow: /api/ Disallow: /go.php Disallow: /r.php # Параметрические дубли (канонический тег сводит их к чистому URL). Disallow: /*?utm_* Disallow: /*?gclid=* Sitemap: https://siliconsense.club/sitemap.xml