检查网站基本设置
1、网站的访问速度
百度站长工具—抓取异常分析服务器的问题
2、网站权限设置robots.txt
a、错误设置:屏蔽所有搜索引擎抓取
User-agent: * Disallow: /
b、正常设置:禁止一些目录抓取、禁止抓取动态链接、设置sitemap地址。
User-agent: * Disallow: /wp-admin/ Disallow: /*?* Sitemap: http://www.yejianda.cn/sitemap.xml
3、网站信息提交。
这样设置提交Sitemap才有用?
检查网站内容
1、检查网站日志,判断搜索引擎蜘蛛是否抓取正常
2、内容的原创度
3、文章是否规律更新