织梦DedeCMS站点robots文件详细写法以及优化

2021-06-23 作者:未知   |   浏览(

  Disallow: /temh3letsDEDECMS模板文件存放目录

  Disallow: /data 系统缓存或其它可写入数据存放目录

  Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话,禁止

  Disallow: /images 系统默认模板图片存放目录

  Disallow: /index.php 网站默认首页,静态化的话,最好禁止

需要注意的地方:

1.为安全起见,最好按官方说明设置好网站目录权限;

2.后台目录改后的名字开头字母和结尾字母不要和其他目录有相同之处;

3.设置完成后最好使百度站长工具测试一下robots.txt文件设置是不是有效。

  Disallow: /404.html 404错误页面

  Allow: /plus/search.php 开放禁止目录里的具体文件

下面着重讲下后台管理目录和栏目页的设置:

  1、dede后台管理目录,为了网站安全考虑需要改名。然而改名之后,大伙不免疑惑:改了名,应该在robots.txt文件里如何设置禁止搜索引擎抓取呢?假如直接禁止抓取,就泄露了后台目录,等于改名无效。大家可以通过下面的设置解决这个问题,如大家设置后台目录为织梦CMS:

  在robots.txt文件里面加上Disallow: /d*ms这句就好了。

  如此大家就能即禁止了搜索引擎的抓取,又不会泄露了后台目录名字。

  2、栏目页。有的人会注意到,假如网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web/list_1_1.html,为了seo关键词优化,建议先将栏目分页优化以下,把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:

  在robots.txt文件里面加上Disallow: /*1.html$这句。

  以上就是织梦CMS robots.txt文件的设置,大伙可以依据自己网站的状况具体设置。

  Disallow: /include 程序核心文件目录

  Disallow: /member 会员管理目录,有的文件可以开放

  Disallow: /h3lus 插件及辅助功能目录

织梦CMS本身自带有一个robots.txt文件,但里面的设置非常简单,并不可以完全满足网站的优化需要,特别是对于用伪静态的网站来讲,robots.txt文件的优化,要如何做才行呢?

下面是我的一点想法,适用于伪静态的织梦CMS网站。

User-agent: *

  Disallow: /dede DEDE管理后台目录,需要改名,具体设置在下面详细说明