分享
 
 
 

利用“GOOGLE抓取”测试Robots书写正确性

王朝网站推广·作者佚名  2011-12-05
窄屏简体版  字體: |||超大  

利用GOOGLE管理员工具测试Robots.TXT 与 页面内容抓取,GOOGLE管理员可以说是网站与GOOGLE间接沟通的工具,虽然G.cn现在已经移民、导致使用GOOGLE时会经常出现搜索错误或超时问题,但是GOOGLE目前所发布出来的工具无不是最权威的工具(Google Analytics 、Google Trends、Google adwords、Google管理员工具)、尤其是“Google Analytics ”、“Google管理员工具”,一个是分析工具最牛B的工具(小向个人认为),一个是网站管理必备工具之一,可能有些朋友们不是这么认为,但是这二款工具帮了小向很多忙!

百度从发布“百度站长指南”时,就在统计/投票问用户喜欢什么类型的站长工具,但是现在票投了、统计也做好了,可是工具却迟迟不发布,有句话说的好“给了别人希望,却又让人失望”,“百度站长指南”不是这样的吗、等了多久、三个月有吧,但后来了发布了、但是又有多少人对这个抱有“希望”的东西,最后却失望而归。Google管理员工具(使用Google 网站管理员工具提高流量 Google 对网站索引编制的统计、诊断和管理,包括 Sitemap 提交和报告。欢迎使用一站式网站管理员资源,它可以回答您有关抓取和编制索引的问题,向您介绍改善和提高网站流量的产品和服务,从而增进您与访问者之间的联系。)这是一段对GOOGLE管理员的描述,其中讲述了 站索引编制、Sitemap 提交、网站抓取、网站诊断等网站相关问题处理,我们今天只对GOOGLE抓取来做讲解!

曾“国平大哥在博客中发表过一篇文章,说过 “Google webmaster tools " 就是 "Google Search Appliance " 的缩小版,而 GSA就是一台把google整个硬件和软件打包在一起的服务器。这台服务器就是一个小型的google搜索引擎,(虽然DJ小向没有亲目过,但知道啊里巴巴内部是有台这个样的服务器)

对于“GOOGLE管理员工具里 — 实验室 — 像Googlebot一样抓取” 不知道大家了解过没有、而有多少朋友把这个功能灵活掌握了、记得以前在SEO学习网博客中、介绍过一篇有关“GOOGLE抓取工具”!(通过“像 GOOGLE 一样的抓取”,您可以查看到网页对GOOGLE的确切效果)

我们通过点击抓取,然后生成GOOGLE引擎抓取后网址,—— 在通过状态栏我们可以看到,GOOGLE抓取网站的“状态”,而通过这些“状态”提示,我们可以了解到,GOOGLE对网站页面的抓取情部,是“成功”还是“失败”或“被Robots.txt拒接”,而为何“失败”我们也可以从这个工具了解到。

小向多次在博客中提到,一个网站没有蜘蛛爬,何来网站被SE收录,而目前模拟抓取的工具很多(站长帮手、站长网),但是有多少模拟抓取工具能有GOOGLE抓取“权威”或“准确”。

而我们可以"拿GOOGLE抓取来测试网站Robots.txt 是否正确",对于“Robots.txt的书写正确” 在百度站长工具投票中,有很多朋友都希望百度站长工具能够推出这款工具来。了解SEO的朋友,从图中已经看出来了! 我们不需要在漫长的等待百度站长工具推出对Robots.txt测试工具,现在我们可以用GOOGLE站长管理员工具来测试“Robots.txt的有效性”与"Robots.txt的书写正确性",让更多初学SEO的朋友因“不会写Robotx.tx”t或"把Robotx.txt写错"导致网站阻止蜘蛛爬取。

图中,我们可以看到如果你使用GOOGLE抓取,抓取该网站写到Robots中的协议都会提示“已被Robots.txt拒绝”、而如果Robots.txt没有生效的状态中都会显示“成功”,用这种方法测试Robots.txt是最靠谱的一种方式 ,当然对于XX SE来说他本来就有点不遵守这Robots.txt、那就没有办法了!而对于"像GOOGLEBOT 一样抓取"用来检测Robots.txt 只是他使用运用手法之一,刚刚我们已经说过“GOOGLE 抓取”他可以模拟抓取网站的内容!

而GOOGL抓取 也可以模拟抓取网站的内容结果、这里的结果与SE的快照差不多,但是用GOOGLE工具里面的抓取比看快照更方便、更准确! 而从这个结果中我们可以分析出,GOOGLE对该页面的抓取情况,如是否可以抓取JS、图片内容等等。

很久没有写文章了,上次答应大家说要写一篇可以“测试Robots.txt的正确性”文章,现在满足大家了、下篇文章的“主题”大家也可以发表在留言上面提出,DJ小向将把自己知道的所有知识分享给大家,毕竟小向知道曾新手的自己也同样得到过别人的帮助,在这里同时“谢谢!追词网博客栏目的猎眼大哥、感谢猎眼大哥这几天对小弟的帮助与关照”。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有