网站禁止收录和禁止爬取

在建立起WP网站第一步,就要写好,因为你的网站还没完成,不适合收录

User-agent: *
Disallow: /

网站开放收录和爬取

一般来讲,网站的robots写法没有标准的答案,因为它是一个开放的内容,目的就是为了告诉可以做什么,不可以做什么,所以这个完全由你来决定。

专业的SEO插件YOAST SEO最近的文章显示,不用限制什么,相当于裸奔。

特别是AVADA主题做的网站,如果有一点限制在google站长工具后台就会提示报错,所以都开放网站收录,放开的robots如下。

User-agent: *
Allow: /

Leave a comment

Your email address will not be published. Required fields are marked *