标签页太多拖累 SEO？别急着用 robots.txt 屏蔽
给这个 Astro 博客的标签页、分类页做 SEO 收尾：35 篇文章却有 69 个标签，将近一半只挂着一篇，是典型的薄内容。本来第一反应是 robots.txt 里 Disallow 掉，结果发现这是个常见误区——Disallow 只挡爬取不挡收录，真正想让薄页面退出索引，得用 meta robots 的 noindex, follow，并且 robots.txt 还得保持全开。附 Astro 里的具体改法。
给这个 Astro 博客的标签页、分类页做 SEO 收尾：35 篇文章却有 69 个标签，将近一半只挂着一篇，是典型的薄内容。本来第一反应是 robots.txt 里 Disallow 掉，结果发现这是个常见误区——Disallow 只挡爬取不挡收录，真正想让薄页面退出索引，得用 meta robots 的 noindex, follow，并且 robots.txt 还得保持全开。附 Astro 里的具体改法。