你想优化你的WordPress的robots.txt文件？ 不知道为什么和如何robots.txt文件是重要的你的搜索引擎优化？ 我们已经涵盖了你。 在本文中，我们将向您展示如何优化您的WordPress的robots.txt搜索引擎优化，并帮助您了解robots.txt文件的重要性。
最近，一个用户问我们是否需要一个robots.txt文件，它的重要性是什么？ 您网站的robots.txt文件在您网站的整体搜索引擎优化表现中起着重要的作用。 它基本上允许你与搜索引擎进行交流，让他们知道你的网站的哪些部分，他们应该索引。
我真的需要一个Robots.txt文件吗？
没有robots.txt文件不会停止搜索引擎爬行和索引您的网站。 但是，强烈建议您创建一个。 如果您想将网站的XML网站地图提交给搜索引擎，那么除非您在Google网站管理员工具中指定了搜索引擎，否则搜索引擎将查找您的XML网站地图。
我们强烈建议，如果您的网站上没有robots.txt文件，那么您立即创建一个。
Robots.txt文件在哪里？ 如何创建一个Robots.txt文件？
Robots.txt文件通常驻留在您的网站的根文件夹中。 您将需要使用FTP客户端连接到您的站点，或使用cPanel文件管理器来查看它。
它就像任何普通的文本文件一样，你可以用记事本这样的纯文本编辑器打开它。
如果您网站的根目录中没有robots.txt文件，则可以随时创建一个。 您只需在计算机上创建一个新的文本文件并将其保存为robots.txt。 接下来，只需将其上传到您的网站的根文件夹。
如何使用Robots.txt文件？
robots.txt文件的格式其实很简单。 第一行通常命名用户代理。 用户代理实际上是您尝试与之通信的搜索机器人的名称。 例如，Googlebot或Bingbot。 你可以使用星号*指示所有的机器人。
接下来的一行是针对搜索引擎的“允许”或“禁止”指令，以便他们知道您希望他们索引哪些部分，以及哪些不需要索引。
查看示例robots.txt文件：
用户代理： * 允许：/ wp-content / uploads / 禁止：/ wp-content / plugins / 禁止：/readme.html
在这个WordPress示例robots.txt文件中，我们已经指示所有漫游器索引我们的图片上传目录。
在接下来的两行中，我们不允许他们索引我们的WordPress插件目录和readme.html文件。
优化您的搜索引擎优化的Robots.txt文件
在针对网站管理员的指南中，Google建议网站管理员不要使用robots.txt文件来隐藏低质量的内容。 如果您正在考虑使用robots.txt文件来阻止Google将您的类别，日期和其他归档页面编入索引，那么这可能不是明智的选择。
请记住，robots.txt的目的是指示机器人如何处理您在网站上抓取的内容。 它不会阻止漫游器爬取您的网站。
还有其他的WordPress插件允许你在你的存档页面添加meta标签，如nofollow和noindex。 WordPress的SEO插件也可以让你做到这一点。 我们并不是说你应该把你的归档页面去掉索引，但是如果你想这样做，那么这就是正确的做法。
您不需要将您的WordPress登录页面，管理目录或注册页面添加到robots.txt，因为登录和注册页面没有通过WordPress添加为元标记的索引标记。
建议您禁用robots.txt文件中的readme.html文件。 这个自述文件可以被试图找出你使用的是哪个版本的WordPress的人使用。 如果这是个人，那么他们可以通过简单的浏览来轻松访问该文件。
另一方面，如果有人正在使用特定版本运行恶意查询来查找WordPress网站，那么这个禁止标记可以保护您免受这些大规模攻击。
你也可以不允许你的WordPress插件目录。 如果有人正在寻找特定的易受攻击的插件来攻击大规模攻击，这将加强您的网站的安全性。
将您的XML Sitemap添加到Robots.txt文件
如果您使用Yoast的WordPress SEO插件或其他插件来生成您的XML站点地图，那么您的插件将尝试自动将您的站点地图相关的行添加到robots.txt文件。
但是，如果失败，那么您的插件会显示您的XML站点地图的链接，您可以手动添加到您的robots.txt文件中，如下所示：
Sitemap：http://www.example.com/post-sitemap.xml Sitemap：http://www.example.com/page-sitemap.xml
理想的Robots.txt文件应该是什么样的？
老实说，许多流行的博客使用非常简单的robots.txt文件。 他们的内容根据具体地点的需要而有所不同：
用户代理： * 不允许： Sitemap：http://www.example.com/post-sitemap.xml Sitemap：http://www.example.com/page-sitemap.xml
这robots.txt文件只是告诉所有机器人索引所有内容，并提供到网站的XML站点地图的链接。
现场
用户代理： * 允许：/？显示=宽 允许：/ wp-content / uploads / 禁止：/ wp-content / plugins / 禁止：/readme.html 不允许：/转介/ Sitemap：http://www.site.com/post-sitemap.xml Sitemap：http://www.site.com/page-sitemap.xml Sitemap：http://www.site.com/deals-sitemap.xml Sitemap：http://www.site.com/hosting-sitemap.xml