robots

User-agent: Yandex Allow: / Crawl-delay: 2 # задает таймаут в 2 секунды User-agent: Googlebot Allow: / Crawl-Delay: 2 # задает таймаут в 2 секунды User-agent: * Allow: / Crawl-delay: 20 # задает таймаут в 4.5 секунды