http://www.robotstxt.org/wc/norobots.html
http://www.webalta.net/ru/about_webmaster_index.html
http://robotstxt.org.ru/
http://www.yandex.ru/cgi-bin/test-robots
http://www.citforum.ru/internet/search/rbtspec.shtml
http://ru.wikipedia.org/wiki/Robots.txt
продолжение следует…
Popularity: 6% [?]
(No Ratings Yet)
Loading ...User-agent: *
Disallow: /engine/
Disallow: /templates/
Disallow: /language/
Disallow: /admin.php
Host: сайт.ru
P.S.Есть вариации,но,я думаю,и так сойдёт.
Popularity: 17% [?]
(4 votes, average: 3 out of 5) Loading ...Robots.txt для форума phpbb.
User-agent: *
Disallow: /forum/templates/
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Host: www.site.ru
Файл Вы можете взять здесь-robots.txt
Popularity: 35% [?]
(No Ratings Yet) Loading ...
Loading ...
