网站优化–URL规范化

1.URL协议名和主机名小写化
HTTP://WWW.EXAMPLE.com/test   -> http://www.example.com/test
2.escape序列转化为大写,因为escape序列大小敏感
%3a ->%3A
3.删除Fragment(#)
http://www.example.com/test/index.html#seo -> http://www.example.com/test/index.html
4.删除空查询串的’?’
http://www.example.com/test?  ->  http://www.example.com/test
5.删除默认后缀
http://www.example.com/test/index.html   ->  http://www.example.com/test/
6.删除多余的点修复符
  http://www.example.com/../a/b/../c/./d.html -> http://www.example.com/a/c/d.html
7.删除多余的”www”
http://www.test.example.com/  -> http://test.example.com/
8.对查询变量排序
 http://www.example.com/test?id=123&fakefoo=fakebar → http://www.example.com/test?id=123 \
9.删除取默认值的变量
http://www.example.com/test?id=&sort=ascending → http://www.example.com/test
10.删除多余的查询串，如?,&
 http://www.example.com/test? → http://www.example.com/test
11.Dust 规则(Schonfeld 等人提出的启发式方法)
http://www.example.com/test?id=123 -> http://www.example.com/test_123

---

不规范的URL会造成网站很多重复的URL，导致爬虫重复抓取同一内容，影响网站有效的内容被抓取，同时也就影响索引。
多个不规范URL造成PR稀疏，本来流向同一页面的PR，结果造成了流向多个不规范的URL。
还有一个用户体验问题，复杂或者不规范的URL容易使用户对网站造成不良印象。

Google管理员增加了URL规范化的工具，可以删除URL中无用的参数。

相关文章

• 没有相关文章