SEO乐动体育登录网址中心提供免费SEO公开课,SEO技术问题解答,SEO乐动体育登录网址教程下载和系统SEO乐动体育登录网址及技术指导。SEO课程,SEO教程应有尽有。
SEO优化乐动体育登录网址
打印 上一主题 下一主题

Robots.txt 文件应放在哪里?robots.txt文件有什么必要?

[复制链接]
查看: 1128|回复: 0

261

主题

261

帖子

847

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
847
跳转到指定楼层
楼主
发表于 2018-12-20 18:01:16 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
Robots.txt 文件应放在哪里?

  Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。


  如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。


robots.txt文件有什么必要?

  什么是robots.txt文件?

  搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

  如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。


  从SEO的角度,robots.txt文件是一定要设置的,原因:

  ① 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

  ② 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

  ③ 一些没有关键词的页面,比如本站的这个页面http://www.seodax.com/home.php?mod=space&uid=1&do=profile,屏蔽掉更好。

  ④ 一般情况下,站内的搜索结果页面屏蔽掉更好


SEO优化乐动体育登录网址教程

要做好网站优化,需要从哪几方面入手,又该

主讲:SEO老师 日照

百度SEO教程-SEO乐动体育登录网址课程课件大纲,共十一

主讲:SEO大学校长 日照

面对B2C商城类型网站,我们该如何优化,又

主讲:SEO老师 菏泽

我们在做SEO的时候,应该怎么样去布局关键

主讲:SEO顾问 吉安

SEOer在做SEO优化的时候有哪些实用的技巧?

主讲:SEO顾问 南昌

SEO新手在进行网站优化时应该避免进入的12

主讲:SEO老师 大连

网站SEO优化的时候外链建设应该注意什么事

主讲:SEO大学校长 山东

网站SEO优化对于用户分析我们应该从哪些细

主讲:SEO大学校长 山东

商务合作

SEO乐动体育登录网址学院电话:400-050-4004
SEO课程,SEO教程

关注SEO乐动体育登录网址公众号