写于 2018-12-26 08:04:02| 澳门金沙新官方网站| 金沙城官方网站
<p>如果您在Google中搜索[优惠],Google会将关闭的Google优惠页面作为第一个搜索列表返回</p><p>但是如果你仔细观察,你会发现金沙城官方网站已经在他们的robots.txt文件中阻止了蜘蛛页面,页面本身也说“这个网站不再受支持</p><p>”这是[优惠的搜索结果的屏幕截图</p><p> ]目前在金沙城官方网站:正如你所看到的,它排名第一,但该片段上写着“由于该网站的robots.txt而无法获得此结果的说明 - 了解更多</p><p>”当您点击进入时,您将进入页面技术上返回404状态代码,该代码应与Google通信以从搜索结果中删除该页面</p><p>以下是Google优惠页面的副本:Google似乎根据仍指向该网址的链接对期限优惠的网页进行排名</p><p>这是一个很好的例子,说明旧的链接和网站的声誉如何仍能保持内容显示,即使它已被更改,已被robots.txt和404ed阻止</p><p> Google的抓取工具将继续尝试访问该网址,以查看拒绝和404状态是否已更改,以及是否应根据这些更改在将来的某个时间包含该网址</p><p>如果您想从Google的索引中完全删除页面,那么404页面应该足够了</p><p>我想知道,因为robots.txt中不允许这样做,Google无法抓取该页面以查看404状态代码,从而使页面在搜索结果中排名,仅基于链接</p><p> Google网站管理员工具有一个完全删除页面的工具,