User-agent: * # правила для всех роботов Disallow: /cgi-bin # папка на хостинге Disallow: /manager/ # авторизация Disallow: /assets/ # папка с системными файлами modx Disallow: /core/ # папка с системными файлами modx Disallow: /connectors/ # папка с системными файлами modx Disallow: /index.php # дубли страниц index.php Disallow: *?* # ссылки с параметрами Disallow: *utm*= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Allow: /assets/*.jpg # здесь и далее открываем для индексации изображения, файлы и скрипты Allow: /assets/*.jpeg Allow: /assets/*.gif Allow: /assets/*.png Allow: /assets/*.pdf Allow: /assets/*.doc Allow: /assets/*.docx Allow: /assets/*.xls Allow: /assets/*.xlsx Allow: /assets/*.ppt Allow: /assets/*.pptx Allow: /assets/*.js Allow: /assets/*.css Allow: *?page= # Укажите один или несколько файлов Sitemap Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS # то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал # Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают. Host: cttit.ru