为什么搜索引擎蜘蛛总是不抓取我的网站?

         首先,你必须精心设计你的网站,不断添加新鲜原创的内容,并检查所有网站基础事项,看是不是基础工作都做到位了。

         有时你会惊奇地发现,在你检查自己的网站是否完全被搜索引擎收录site自己的网站时,明明显示的很多页面被收录了,但实际翻几页就没有了。它们去哪儿了呢?不用担心,这篇文章会列举5个当你在优化网站时经常犯的错误,以致蜘蛛不抓取你的网站。

1. Flash或Java链接因素;2.roboots.txt因素;3.一个页面中存在太多的链接;4.表格中的链接 5.框架中的链接;

Flash或Java链接

虽然Google已经向我们声明flash页面已经非常容易抓取,由于只是暂时的,你也许想避免依赖于嵌入flash中的链接,如果你想这样做,一定要在这个页面上有一个独立于flash之外的链接。这同样适用于在Java中,Silverlight中等等。

Robots.txt

前段时间,我专门写了一篇文章而回关于robots.txt的使用,可能对你在这方面经验的加强有所帮助。基本上,robots.txt将会告诉蜘蛛的抓取权限,可能有一些页面你 只愿意将其展示给特定的用户,而不愿展示给搜索引擎,通过这个阻止Google收录,防止任何人都可以通过Google来访问。

页面上过多的链接

这种现象比较明显,在一个页面上放有很多链接是十分不友好的:第一,给用户的第一感觉就是这个页面非常混乱。第二,无形中给搜索引擎一个迹象:你的网站就是一个垃圾链接工厂,没有比蜘蛛不愿意抓取你的网站更有危险了。

表格中的链接

如果你的用户在浏览网页前必须填写表单,并且这是用户唯一可以进入的方式,这种情况也不容易被蜘蛛抓取。很多SNS类的网站就是类似情况。原因是蜘蛛不可能提交个人信息,和点击提交按钮,无法抓取,如果你很固执,一定要用户填写表单才可以进去,至少要有一条链接指向你的内容页面而不需要填写表单就可以进入。

框架中的链接

当你在你的页面上使用框架来布局,Google,yahoo,bing等就会不能识别你网站的结构,因为搜索引擎对框架的识别十分不好。对于我来说,都是要避免这种情况发生的。

    share to:

Tags:

Leave a Reply