九九运营网

搜狗爬虫抓取规则(sogou spider 喜欢收录什么样的页面)

时间:2个月前   阅读:63

sogou spider User-Agent字段是什么?
  • PC端UA为
    Sogou web spider
    Sogou inst spider
    Sogou spider

  • 无线端UA为
    Sogou wap spider

请注意,根据标准,ua区分大小写。
搜狗spider的IP有哪些?
  • 搜狗暂不对外提供搜狗spider IP列表,但您可以通过DNS反查IP的方式判断某只spider是否来自搜狗搜索引擎。根据不同平台有不同的验证方法。

  • linux平台:
    命令为host ip,如下图。搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

  • 搜狗爬虫抓取规则(sogou spider 喜欢收录什么样的页面) 搜狗爬虫的IP有哪些 搜狗seo教程 搜狗爬虫 搜狗爬虫喜欢收录什么样的页面 sogou spider 搜狗爬虫抓取规则 搜狗SEO  第1张
  • 在windows平台或者IBM OS/2平台:
    命令为nslookup ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

  • mac os平台:
    命令为dig ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

sogou spider 如何反应我网站上页面的更新?
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面。
搜狗spider的抓取频次是怎样的?
  • sogou spider 对于同一个 IP 地址的服务器主机,只建立一个连接,抓取间隔速度控制在几秒一次。一个网页被收录后,最快也要过几天以后才会去更新。如果持续不断地抓取您的网站,请注意您的网站上的网页是否每次访问都产生新的链接。

  • 如果您认为 sogou spider 对于您的网站抓取过快,请与我们联系,并最好能提供访问日志中sogou spider 访问的部分,而不要直接将搜狗spider的ua封禁。

sogou spider 喜欢收录什么样的页面
  • 内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。

  • 链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。

  • 如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。

来源:搜狗站长平台

本文标题:搜狗爬虫抓取规则(sogou spider 喜欢收录什么样的页面)
本文链接:https://www.030414.com/2022/628/
作者授权:除特别说明外,本文由 SEO网 原创编译并授权 九九运营网 刊载发布。
版权声明:商用需授权,非商用转载或使用请注明出处宋九九或九九运营网及本文链接地址

宋九九简介:宋九九(songjiujiu.com 微信/QQ:402658829),多年互联网个人品牌积淀,IT博主、自媒体人、SEO站长。专注IP品牌打造、企业网站建设、SEO优化、关键词快速排名、自媒体、网络营销推广、软文营销,原创文章写作、IT互联网创业、社群、创业兼职副业项目分享等等。

扫码关注公众号:宋九九

关注SEO,自媒体、网络运营推广,赚钱项目分析揭秘干货分享

上一篇:聚聚玩赚钱是真的吗?电脑试玩游戏升级赚钱平台(聚聚玩网上赚钱方法详解教程)

下一篇:搜狗搜索引擎网站验证帮助(搜狗SEO站长平台使用教程)

网友评论