原创SEO工具
SEO入门进阶好帮手

网站主体内容过长为什么会影响蜘蛛抓取

免费抖音课程

主体内容过长(通常网页源码长度不能超过128k),文章过长可能会引起抓取截断。

 

举个例子:某网站主体内容都是JS生成,针对用户访问,没有做优化;但是网站特针对爬虫抓取做了优化,直接将图片进行base64编码推送给百度,然而优化后发现内容没有被百度展示出来;页面质量很好,还特意针对爬虫做了优化,为什么内容反而无法出现在百度搜索中;

 

主体内容过长影响蜘蛛抓取原因如下:

1、站点优化后将主体内容放于最后,图片却放于前面;

2、网站针对爬虫爬取做的优化,是直接将图片base64编码后放到HTML中,导致页面长度过长,网站页面长度达164k;

3、爬虫抓取内容后,页面内容过长被截断,已抓取部分无法识别到主体内容,最终导致页面被认定为空短而不建索引。

阅读本文的人还可以阅读:

网站主体内容太短为什么会被判断无价值内容

 收藏 (0) 打赏

您可以选择一种方式赞助本站

支付宝扫一扫赞助

微信钱包扫描赞助

未经允许不得转载:致胜SEO » 网站主体内容过长为什么会影响蜘蛛抓取

分享到: 生成海报
avatar

热门文章

  • 周易小孩起名

    致胜SEO 学习SEO入门和进阶的好帮手

    联系我们联系我们
    切换注册

    登录

    忘记密码 ?

    切换登录

    注册

    我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活