网站优化

为何一个网站内一些不设链接的私密性网页,甚

作者:admin 发布时间:2020-07-30
发布时间:2018-08-05 浏览次数:917

百度搜索索引擎蜘蛛的访问限制和用户是一样的。因此,用户没有 权限访问的内容,百度搜索引擎蜘蛛都没有权限访问。往往看起来某些访问限制限制内容被网站收录,原因有以下两点。


(1 )该内容在百度搜索引擎蜘蛛访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。


(2)该内容有权限限制,但是由于网站安全性漏洞问题,导致用户可以通过某些特殊路径直 接访问。而一旦这样的路径被公布在互联网技术上,则百度搜索引擎蜘蛛蝴蛛就会符着这条道路径抓出受限内 容。假如你不希望这些私密性内容被网站收录,一方面可以通过Robots协议加以限制;另一方 面,还可以联系[email protected]进行解决。



收缩