wordpress的robots文件怎么写?
在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。
User-agent: * Disallow: /admin_login/ Disallow: /admin/ Disallow: /admin.htm Disallow:/admin.aspx User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。
谷歌和百度有什么不一样咧?
谷歌 Google(Google Inc.,NASDAQ:GOOG)是一家美国上市公司(公有股份公司),于1998年9月7日以私有股份公司的形式创立,以设计并管理一个互联网搜索引擎。
Google公司的总部称作“Googleplex”,它位于加利福尼亚山景城。
Google 创始人 Larry Page 和 Sergey Brin 在斯坦福大学的学生宿舍内共同开发了全新的在线搜索引擎,然后迅速传播给全球的信息搜索者。
Google 目前被公认为是全球规模最大的搜索引擎,它提供了简单易用的免费服务。
不作恶(Don't be evil)是谷歌公司的一项非正式的公司口号,最早是由Gmail服务创始人在一次会议中提出。
百度百度(Nasdaq简称:BIDU)是全球最大的中文搜索引擎,2000年1月由李彦宏、徐勇两人创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。
“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。
网站robots文件如何优化
经过对WordPress使用多年的经验和WordPress本身的一些规则,WordPress网站较好的robots.txt规则如下:User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /trackback/Disallow: /comments/Disallow: /attachment/Disallow: /comments/feedDisallow: /feedDisallow: /*/feedDisallow: /*/comment-page-*Disallow: /*?replytocom=*Disallow: /*/trackbackDisallow: /?s=*Disallow: /*/?s=*Disallow: /wp-*.phpSitemap: http://yourdomain.com/sitemap.html以上robots.txt内容参考资料:https://zhangzifan.com/wordpress-robots.html(版权归原作者所有)
织梦的程序,一般robots怎么写?
我也是用DEDE程序的,对robots也做了一些研究User-agent: * Disallow: /plus/Disallow: /include/Disallow: /friendlink/Disallow: /backup/Disallow: .php$Disallow: /*?*由于做了伪静态,所以反所有动态页都屏蔽了。
http://hi.baidu.com/%B5%A5%B3%B5%C6%AF%D2%C6%C4%D0/blog/item/cebfab18bd6157e5af51338e.html而这文章是我写的关于robots写法,最新最全的robots写法,更科学更具体!
如何利用robots.txt对wordpress博客进行优化
一、先来普及下robots.txt的概念: robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。
这个文件用于指定spider在您网站上的抓取范围,一定程度上保护站点的安全和隐私。
同时也是网站优化利器,例如屏蔽捉取站点的重复内容页面。
robots.txt目前并不是一种标准,只是一种协议!所以现在很多搜索引擎对robots.txt里的指令参数都有不同的看待。
二、使用robots.txt需要注意的几点地方: 1、指令区分大小写,忽略未知指令,下图是本博客的robots.txt文件在Google管理员工具里的测试结果; 2、每一行代表一个指令,空白和隔行会被忽略; 3、“#”号后的字符参数会被忽略; 4、有独立User-agent的规则,会排除在通配“*”User agent的规则之外; 5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。
6、尽量少用Allow指令,因为不同的搜索引擎对不同位置的Allow指令会有不同看待。
三、Wordpress的robots.txt优化设置 1、User-agent: * 一般博客的robots.txt指令设置都是面对所有spider程序,用通配符“*”即可。
如果有独立User-agent的指令规则,尽量放在通配“*”User agent规则的上方。
2、Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ 屏蔽spider捉取程序文件,同时也节约了搜索引擎蜘蛛资源。
3、Disallow: /*/trackback 每个默认的文章页面代码里,都有一段trackback的链接,如果不屏蔽让蜘蛛去捉取,网站会出现重复页面内容问题。
4、Disallow: /feed Disallow: /*/feed Disallow: /comments/feed 头部代码里的feed链接主要是提示浏览器用户可以订阅本站,而一般的站点都有RSS输出和网站地图,故屏蔽搜索引擎捉取这些链接,节约蜘蛛资源。
5、Disallow: /?s=* Disallow: /*/?s=* 这个就不用解释了,屏蔽捉取站内搜索结果。
站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。
6、Disallow: /?r=* 屏蔽留言链接插件留下的变形留言链接。
(没安装相关插件当然不用这条指令) 7、Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$ 屏蔽捉取任何图片文件,在这里主要是想节约点宽带,不同的网站管理员可以按照喜好和需要设置这几条指令。
8、Disallow: /?p=* 屏蔽捉取短链接。
默认头部里的短链接,百度等搜索引擎蜘蛛会试图捉取,虽然最终短链接会301重定向到固定链接,但这样依然造成蜘蛛资源的浪费。
9、Disallow: /*/comment-page-* Disallow: /*?replytocom* 屏蔽捉取留言信息链接。
一般不会收录到这样的链接,但为了节约蜘蛛资源,也屏蔽之。
10、Disallow: /a/date/ Disallow: /a/author/ Disallow: /a/category/ Disallow: /?p=*&preview=true Disallow: /?page_id=*&preview=true Disallow: /wp-login.php 屏蔽其他的一些形形色色的链接,避免造成重复内容和隐私问题。
10、Sitemap:http://***.com/sitemap.txt 网站地图地址指令,主流是txt和xml格式。
告诉搜索引擎网站地图地址,方便搜索引擎捉取全站内容,当然你可以设置多个地图地址。
要注意的就是Sitemap的S要用大写,地图地址也要用绝对地址。
上面的这些Disallow指令都不是强制要求的,可以按需写入。
也建议站点开通谷歌管理员工具,检查站点的robots.txt是否规范。
网站robots应该怎么写
展开全部 robots.txt文件的写法User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC 这里定义是禁止爬寻ABC整个目录Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录Allow: /tmp 这里定义是允许爬寻tmp的整个目录Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片...
网站robots应该怎么写
robots.txt文件的写法User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC 这里定义是禁止爬寻ABC整个目录Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录Allow: /tmp 这里定义是允许爬寻tmp的整个目录Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
转载请注明出处51数据库 » wordpress robots写法