您现在的位置是:首页 > 博客网站制作 > 心得笔记心得笔记
网站建设时,这些情况可能会导致死链的产生
杨青青2022-02-21【心得笔记】人已围观
简介新手站长在网站建设的时候,因为一些操作,导致正常的网站无法被搜索引擎爬虫访问,进而使搜索引擎认为该页面是死链接。除了页面无法打开,一下的几个点都可以导致网站死链的产生。
新手站长在网站建设的时候,因为一些操作,导致正常的网站无法被搜索引擎爬虫访问,进而使搜索引擎认为该页面是死链接。除了页面无法打开,一下的几个点都可以导致网站死链的产生。
以下小编就给出一些死链的产生情况,本次文章素材来自百度公开课搜索引擎课程,具备相对的权威性。其他搜索引擎同样可以参考该篇文章来进行设置。
减少死链的产生,是从事SEO工作工作者必修课。
HTTP/HTTPS设置不当引起死链
问题场景:
1.HTTP可访问,HTTPS不可访问
2.HTTP不可访问,HTTPS可访问
建议:
整站行为一致,保证所有的URL正常访问,另外百度方面不建议HTTP与HTTPS共生。
封禁引起死链
问题场景:
1.用户可以正常访问,爬虫不能。(爬虫抓取的是错误的页面)
一些网站因为特殊性,导致用户可以正常访问,但是当爬虫访问时,却返回一个错误的页面。
2.PC端可访问,搜索引擎APP不能访问
搜索引擎爬虫可以访问PC端页面,但是不能访问APP。百度官方的公开课说到这个APP访问,暗指是支持APP内访问的一个分析,来作为一个综合评估参考。所以,不屏蔽百度APP对网站的访问。
3.DNS封禁
有些特定的DNS服务商会封禁搜索引擎爬虫来抓取域名的内容。这种在少数,毕竟目前主流域名厂商,已经主流的DNS厂商都没有做DNS封禁。
4.服务器站点策略封禁
有些服务器自带的安全策略会屏蔽百度蜘蛛的抓取,这种情况会产生死链(网页URL链接,但是无内容)。当这种情况在整个网站出现,会导致搜索引擎判断网站为一个劣质网站。会被降权。
建议:
合理的使用站长资源工具,来诊断站点是否能正常抓取
识别百度爬虫(双向DNS解析认证)解除封禁
对spider不公开内容设置robots协议封禁/设置死链,导致返回404
不建议使用额外的技术手段封禁百度爬虫。
对百度APP可以访问
DNS变更引起死链
问题场景:
站点更新DNS解析,将域名的IP变更,IP1变为IP2,中间有时间差。
当站点的更换域名解析的IP后,因为有些DNS并不能做到立即响应解析(一般为24小时)。我们拿24小时为例,中间有曾时间差,导致搜索引擎蜘蛛无法抓取,会评定为死链。
这个时候可以预留4-5天的缓存期,让爬虫来更新这个DNS
建议:
更换DNS后,使用站长资源平台工具来抓取测试,查看网站是否能正常抓取。
不建议频繁更换DNS的IP,如必须变更请,给爬虫抓取预留缓冲时间。
Tags:网站死链接
很赞哦! ()
下一篇:返回列表
相关文章
随机图文
IE常见bugs以及解决方案列表
1、如何解决IE6及更早浏览器浮动时产生双倍边距的BUG?2、如何解决IE6及更早浏览器下的3像素BUG?3、如何在IE6及更早浏览器下模拟min-height效果?4、如何解决IE7及更早浏览器下当li中出现2个或以上的浮动时,li之间产生的空白间隙的BUG?css技巧以及经验总结
1、如何清除图片下方出现几像素的空白间隙?2、如何让文本垂直对齐文本输入框?3、如何让单行文本在容器内垂直居中?4、如何让超链接访问后和访问前的颜色不同且访问后仍保留hover和active效果?分享我的个人博客访问量如何做到IP从10到2000的(图文)
我的个人博客总共展示了三个版本,界面也经历了由“简单”到“复杂”再到“简单”,颜色从“色泽单一”到“五彩斑斓”再到“局部点缀”的过程。原来一年一个版本!而每次改版的契机都是被百度惩罚!界面不要频繁更换!好好检查代码,有没有冗余、结构有没有不合理的地方。两列DIV高度自适应方法汇总
网站优化(seo)中,提到过网站样式的优化,即在网站的布局设计中,采用DIV+CSS来布局。网站制站中,我们经常要把两个并排显示的div实现一样高的效果,即每列高度(事先并不能确定哪列的高度)的相同,有以下几种方法