标签页太多拖累 SEO?别急着用 robots.txt 屏蔽
给这个 Astro 博客的标签页、分类页做 SEO 收尾:35 篇文章却有 69 个标签,将近一半只挂着一篇,是典型的薄内容。本来第一反应是 robots.txt 里 Disallow 掉,结果发现这是个常见误区——Disallow 只挡爬取不挡收录,真正想让薄页面退出索引,得用 meta robots 的 noindex, follow,并且 robots.txt 还得保持全开。附 Astro 里的具体改法。
给这个 Astro 博客的标签页、分类页做 SEO 收尾:35 篇文章却有 69 个标签,将近一半只挂着一篇,是典型的薄内容。本来第一反应是 robots.txt 里 Disallow 掉,结果发现这是个常见误区——Disallow 只挡爬取不挡收录,真正想让薄页面退出索引,得用 meta robots 的 noindex, follow,并且 robots.txt 还得保持全开。附 Astro 里的具体改法。
给这个 Astro 博客接入 llms.txt 和 llms-full.txt 的完整过程:用 content collection 在构建时生成索引文件,以及中文站在 Cloudflare 上一定会踩的 charset 乱码坑。
记录我给博客加上 YouTube 和 Bilibili 视频嵌入的过程:写一个 remark 插件,让我以后写文章只需要单独一行粘 URL,构建时自动变成响应式播放器。
记录给这个 Astro 博客接入动态 OG 图片生成的过程,以及在 Cloudflare Workers 环境下踩的那些坑。
记录从零开始用 Astro + Cloudflare Workers 搭建个人博客的过程,以及选择这个方案背后的考量。