抓取、索引和排名是三个前后相接但彼此独立的环节:抓取是搜索引擎发现并读取页面,索引是把可用的页面内容存入可供检索的库,排名是用户搜索某个词时从已索引内容中挑出并排序。判断卡在哪一环,最直接的办法是从搜索结果反推:搜完整标题或一段独特正文,看页面是否出现;再用站点层面的抓取与索引数据核对。三者不是一回事,处理顺序也应不同。
从页面正文里挑一句连续、独特、约十五到二十个字的句子,加上英文双引号后在搜索引擎中搜索。结果分三种情况。
这个检查的适用条件是页面正文足够独特。如果整页内容大量复制自别处,整句搜索会失去判断力,此时应改用页面标题加站点名的方式交叉验证。
打开搜索引擎提供的站点管理工具,查看该网址的抓取状态与索引状态。要查的项包括:网址是否被允许抓取、抓取请求返回的状态码、页面是否被标记为不索引、规范网址指向哪里。结果说明如下。
如果站点管理工具显示已抓取、已索引,而整句搜索也命中,那么抓取和索引两环基本可以排除,工作重心转向排名。
排名必须在具体查询词下判断,脱离查询词谈排名没有意义。做法是选定一个与页面主题直接相关的词,在无痕窗口、关闭个性化推荐的状态下搜索,记录目标页出现的位置;隔一段时间用同一词、同一方式再查一次。要查的项包括:目标页是否出现在前几页、出现的网址是目标页还是同站其他页、搜索结果中同时出现了哪些竞争页面。
结果说明:目标页稳定出现在靠前位置,说明三个环节都通;目标页在索引中但从未出现在该词结果里,说明问题在排名环节,方向是内容与查询意图的匹配度、页面主题集中度、内外部链接支持;目标页时有时无,通常与查询词的地域、设备、时间差异有关,不能直接判定为排名波动。
时间人手有限时,这个顺序能避免一种常见浪费:页面根本没被索引,却一直在改标题和正文去争排名。抓取和索引是排名的前提,前提不成立时,排名优化没有作用对象。
第一种是“搜品牌名能出现,搜业务词不出现”。品牌名能命中,只证明页面已索引;业务词不出现属于排名环节。第二种是“页面昨天还在,今天搜不到”。如果整句搜索也不命中,先按索引问题排查,可能是抓取异常或页面被替换;如果整句搜索仍命中,只是某个查询词下位置变化,那属于排名波动,不必动抓取和索引设置。
下一步:挑一个你最关心的页面,完成整句搜索和站点管理工具中的抓取、索引状态核对,把结果写成三行——是否被抓取、是否被索引、目标查询词下的当前位置,再据此决定先动哪一环。