你想要查看百度或者是谷歌的蜘蛛是否爬过自己的网站,我可以给你提供一下例子,呵呵,把自己的日志分享给你看一下,告诉你如何来看蜘蛛来访情况。
你打开网站的日志,在里面查找百度或者是谷歌蜘蛛的名字
百度的蜘蛛是baiduspider,谷歌的蜘蛛是Googlebot
然后可以看一下具体的情况,假如像下面这个例子:
GET /index.htm - 80 - 220.181.7.32 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0
它的含义是:来自220.181.7.32这个IP地址的百度蜘蛛来到你的网站,成功的抓取了index.htm首页,200代码表示的是成功抓取,404是错误页,还有一些其他的代码你可以在网上查一下。
希望通过上面的这个例子,你能了解自己站的情况。
Photoshop|
Dreamweaver|
SVG|
WebGL|
Visual Studio|
PowerDesigner|
Eclipse|
Git|
Apache Ant|
Atom|
Composer|
CodeSmith|
Flex|
Gradle|
Maven|
Sublime Text3|
SVN|
Tableau|
Vim|
Chrome开发者工具|
OpenGL|
Unity|
Direct3D|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....