# robots.txt for http://www.gackt.my1.ru

User-agent: *
Disallow: /new_2010_year/ # this is spam URL
Disallow: /hlam/ # this is spam URL

User-agent: Yandex
Crawl-delay: 0.5 # задает таймаут в 0.5 секунды между конфом закачки и началом