User-agent: *
Disallow: /巡回して欲しくないフォルダー/ページ.html
Allow: /

User-agent:slurp
Allow: /yahoo!サイト管理者認証コードy_keyのhtmlを記入
Allow: /Sitemaps.xml
Allow: /urllist.txt
Disallow: /巡回して欲しくないフォルダー/ページ.html
Allow: /

User-agent:googlebot
Allow: /Sitemaps.xml
Allow: /urllist.txt
Disallow: /巡回して欲しくないフォルダー/ページ.html
Allow: /

User-agent:msnbot
Allow: /LiveSearchSiteAuth.xml
Allow: /Sitemaps.xml
Allow: /urllist.txt
Disallow: /巡回して欲しくないフォルダー/ページ.html
Allow: /

Sitemap: http://貴方のサイトURL/Sitemaps.xml
Sitemap: http://貴方のサイトURL/rss20.xml
Sitemap: http://貴方のサイトURL/urllist.txt