同时部署github和coding解决百度无法收录的问题

现象

使用百度搜索资源平台的抓取诊断功能,发现访问的都是403异常结果,如图所示:

后来百度了好久,才发现是因为github官方屏蔽了百度蜘蛛爬虫,导致不能被百度爬取网页

解决办法
注册腾讯云开发者平台

注册腾讯云开发者平台。网上说的是注册coding,但是coding的个人版已经被腾讯云收购了好像,大家可以直接去注册腾讯云开发者平台就可以了。

  1. 设置腾讯云开发者平台的ssk-key
    这里就不赘述如何添加了,大家应该很熟悉了。

  2. 创建项目,设置为公开访问。

文件配置
  1. 配置站点配置文件_config.yml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    # Deployment
    ## Docs: https://hexo.io/docs/deployment.html
    deploy:
    - type: git
    repo:
    - https://github.com/greenYears/greenYears.github.io
    - [email protected]:greenYears/blog.git
    branch: master
    - type: baidu_url_submitter
  2. 执行hexo clean & hexo g以及hexo deploy将代码同时上传到github以及腾讯云上。

项目发布
  1. 发布腾讯云上的项目
    点击「代码」-> 「Pages服务」发布静态文件
域名解析配置
  1. 配置域名解析
    配置2个CNAME域名解析,一个解析路线设置为境外,一个为默认,这样境外的访问的会是github地址,国内的则是腾讯云的地址。

  2. 配置腾讯云的Pages服务设置界面

最终结果展示

最后使用百度的搜索资源平台的抓取诊断