default
menu home
图标库 注册 登录 favorite_border message help_outline
在线笔记 - 人性化网络收藏夹

明明做好了301跳转,为什么某些搜索引擎就是不来收录新站?

style分类标签: 全部 CSS html javascript php/other IT
by: fanshome  2023-06-10 09:32(UTC)

favinavi自己就遇到了这个问题,老域名www.favii.cn虽然已有十几年历史,积累了一些忠实粉丝,但是为了能更好的拓展发展空间,还是痛下决心启用了favinavi.com新域名。当然的,为了以前的老用户能正常访问到网站,就做了301自动跳转,然后满心以为各个搜索引擎过一段时间也就自然会知道老域名换新域名了,该怎么做他们自然会怎么做。

然而,想不到的事情发生了,已经差不多过了3个月,依然有部分搜索引擎死活不肯收录新域名下的内容,依旧死抱着老域名不放。这就奇怪了,为什么会这样?!

想了无数种可能的原因,我猜测其中一种可能性是:站长的想法和搜索引擎的想法不一致而导致了这个结果。

具体来说,站长的首要出发点是一切为了用户考虑,换了新域名,首先考虑的是别让老用户迷路,所以无论老用户访问的是什么形式的旧域名下的内容,都尽量跳转到新域名下的可见内容,防止用户不知所措。比如假设以前曾经有过某些二级域名,而新站不一定有,就一律跳新站的顶级域名;再假设老域名下某些页面新站是404了,为了照顾老用户感受,一律跳新站首页等等(当然可以把跳转做的更加细致一些,但是一般情况下,站长忙于新站建设,简单做个跳转也是无可厚非的)。

此时,仔细想想,假如搜索引擎不够聪明的话,问题就已经存在了。例如,大多数情况下,站长为了灵活性考虑,网站的链接使用相对路径链接的可能性大,比如首页就是“/”,而不会费事去写“https://favinavi.com/",这样写可不是为了偷懒,而是为了保证灵活性:比如开发环境和生产环境的一致性,将来调整网站架构的时候保持灵活性等等。

而这个时候,”聪明“的搜索引擎能基本理解站长的意图,发现了301永久跳转,就跟着站长的思路跳转。而不那么”聪明“的搜索引擎,可能(只是可能,这一切都是我个人的猜测)一看,”咦,老网站好像还挺正常的嘛,老的域名链接都还在呢,你站长自己写在网页里呢(因为使用了相对路径)”。如果程序员偷懒或者因为其它什么原因没有以301跳转为前提分析页面链接,而直接把网站的最终返回结果当成了应该直接分析的页面内容,就会以为一切如常。是啊,初看都挺正常,访问老域名下的内容,服务器返回200 ok,页面内容也一切如常,页面里的链接还都是指向的老域名,什么也没有发生啊!嗯,好像多了个301,但那是你站长的事,我搜索引擎反正能正常访问,正常抓取,我多一事不如少一事,你能奈我何?

至于标题中问题的答案,以上是不是其中的一个可能,我无法下结论。但是我这么猜测也并非毫无依据,因为:

1、发现了部分爬虫(表面上并不是搜索引擎派出的正规爬虫),会愚蠢地几百次爬取毫无必要的重复内容,只是因为无视了301。我想,既然有些人会犯这种低级错误,那么大公司的程序员理论上也有可能犯错的,不是吗?

2、部分搜索引擎的站长服务网站,低级bug一大堆,部分页面做的比我还业余,根本难以让人相信这是堂堂大搜索引擎公司的服务页面。

那么,遇到新站不被收录的情况,站长怎么做?这个要看是哪家搜索引擎了,一方面,可以去站长服务页面提交新站链接试试;不行就试试人工服务。另一方面,站长可以考虑把老域名下不重要的页面直接给404,同时在404页面中一定要留下新域名的绝对地址链接,避免有误判的情况发生。

以上。

visibility 1210


- 重度网络用户必备 在线笔记
adimg
logo 发表评论

captcha
请正确填写验证码
取 消