1. sitemap
1.1. 使用场景
1.1.1. 网站页面多，层级多
1.1.2. 频繁添加新页面
1.1.3. 频繁修改页面内容
1.1.4. 页面跳转混乱，孤儿页面
1.2. 作用
1.2.1. 告诉搜索引擎你的网站有什么内容，以及如何获取这些内容
1.2.2. 虽然sitemap不能保证页面一定会被crawl，index，rank，但是增加了几率
1.2.3. 可以使用noindex去deindex一些页面
1.3. 格式
1.3.1. loc
1.3.1.1. 页面的链接
1.3.1.1.1. 多语言版本
1.3.2. lastmod
1.3.2.1. 页面更新时间
1.3.3. changefreq
1.3.3.1. 页面更新频率， 在sitemap中作用不大
1.3.4. priority
1.3.4.1. 页面优先级0.0~1.0,仅仅是一个hint,googlebot已忽略.
1.4. 分类
1.4.1. html sitemap
1.4.1.1. 通常存在于网站的footer中,用于用户索引网站的内容,对于一个设计比较好的网站而言,是不需要的
1.4.2. dynamic sitemap + sitemap index
1.4.3. image sitemap
1.4.4. video sitemap
1.4.5. google news sitemap
1.5. 如何使用
1.5.1. 应该
1.5.1.1. 有意义,有价值, 易于SEO的页面
1.5.2. 不应该
1.5.2.1. 临时性页面
1.5.2.1.1. 带参数
1.5.2.1.2. 带分页
1.5.2.1.3. 带sessionId的页面
1.5.2.2. 重复的页面
1.5.2.3. 3XX,4XX,5XX页面
1.5.2.4. 功能性页面
1.5.2.4.1. 登录页,免责声明页等
2. robots.txt
2.1. Index directice
2.1.1. parameters
2.1.1.1. index
2.1.1.2. noindex
2.1.1.3. follow
2.1.1.4. nofollow
2.1.1.5. noimageindex
2.1.1.6. noarchive
2.1.1.7. nosnippet
2.1.1.8. unavailable_after
2.1.2. 分类
2.1.2.1. x-robots-tag
2.1.2.1.1. 支持更多的文件类型，不仅是html
2.1.2.1.2. 批量控制多个文件
2.1.2.2. html meta tag
2.2. crawl directive
2.2.1. parameters
2.2.1.1. Allow
2.2.1.2. user-agent
2.2.1.3. disallow
2.2.1.4. sitemap
3. 解读SEO报告
3.1. sitemap index report
3.1.1. Discovered - currently not indexed
3.1.1.1. 原因
3.1.1.1.1. 内容不行
3.1.1.1.2. 内部链接不合理
3.1.1.2. 优化
3.1.1.2.1. 合理利用crawl budget
3.1.2. Crawled - currently not indexed
3.1.2.1. 重复的链接
3.1.2.2. 内容不行
3.1.2.3. 孤儿页面