EN中文

新手入门 SEO 技巧:从零开始提升网站排名

面向工程师的 SEO / GEO 入门指南:从搜索引擎工作原理、渲染方式、状态码到结构化数据与 AI 搜索,基于官方资料系统梳理技术 SEO。

  • Ryan
  • 阅读 19 分钟
/images/posts/seo-beginner-guide.png

工程师的 SEO / GEO 入门指南(2026版)

面向负责网站架构、渲染与发布流程的工程师。本文优先引用搜索引擎和协议维护方的官方资料,并把已确认规则与实验性建议分开。

0. 为什么工程师需要懂 SEO / GEO

SEO(Search Engine Optimization)不只是运营工作。网站能否被稳定抓取、正确索引,首先受到工程实现影响:

  • 渲染方式决定爬虫何时能获得正文;
  • HTML、链接与结构化数据帮助搜索引擎理解页面;
  • HTTP 状态码和 canonical 帮助判断页面是否有效、哪个 URL 是主版本;
  • sitemap、内链和缓存更新机制影响内容发现效率;
  • 性能、移动端适配与安全性影响真实用户体验。

因此,与其说“SEO 的 70% 是工程问题”,不如说:技术 SEO 是内容获得搜索可见性的基础设施;它不能替代好内容,却能决定好内容是否有机会被发现和正确理解。

GEO(Generative Engine Optimization)通常指提高内容在 AI 搜索或 AI 答案中被发现、理解和引用的机会。它目前不是各平台共同定义的统一标准。Google 对 AI Overviews 和 AI Mode 的官方口径是:无需额外的 AI 专用文件或特殊 schema,原有 SEO 基础仍然适用。1

下面我们从最基础的问题讲起:搜索引擎究竟是怎样工作的。理解了这条主线,后面的很多优化手段就不再是需要死记的规则,而是顺理成章的结论。


1. 搜索引擎怎样工作

所有 SEO 优化,本质上都是在搜索引擎处理内容的几个环节上做文章。以 Google 为例,整个过程可以简化为:

发现与抓取(Crawl) → 渲染与索引(Render / Index) → 提供结果(Serve)
搜索引擎工作流程:抓取、索引、提供结果三个环节
  1. 发现与抓取:Googlebot 通过链接、sitemap 等方式发现 URL,并请求页面及必要资源。
  2. 渲染与索引:Google 分析文本、图片、视频等内容;依赖 JavaScript 的页面还可能进入渲染流程。抓到页面不等于一定会索引。
  3. 提供结果:搜索系统根据相关性、质量、可用性、语境等信号选择结果。

Google 官方强调:抓取、索引和展示都不是保证行为。2

环节优化目标常见手段
发现与抓取让爬虫找到有效 URL可抓取内链、sitemap、robots.txt、正确状态码
渲染与索引让关键内容容易理解可访问 HTML、语义结构、canonical、结构化数据
展示与排名真正满足搜索意图原创内容、可靠来源、良好体验、清晰作者信息

1.1 关于Crawl budget 的误解

抓取容量和抓取需求确实存在,但 Google 表示,大多数网站不需要专门担心 crawl budget;它主要值得大型、更新极快,或存在大量重复/参数 URL 的网站重点管理。小型内容站应先解决内链、sitemap、状态码和内容质量。3

到这里,关于“搜索引擎工作过程”的简单描述就讲完了。接下来是工程师最容易踩坑的地方:你的页面是客户端渲染的,爬虫到底能不能看到正文?


2. 渲染方式:爬虫何时能看到内容

关于这个话题,网上流传很广的一种说法是“爬虫只抓 HTML、不执行 JS,所以 JS 渲染的内容搜索引擎看不见”。这个结论过于绝对。更准确的说法是:

  • Google 能执行 JavaScript,并把 JavaScript 应用的处理分为抓取、渲染、索引等阶段;渲染可能不是即时完成。4
  • 不同搜索和 AI 产品的抓取、渲染能力不同,也不会全部公开。
  • 因此,让关键正文、标题和链接在服务器返回或预渲染的 HTML 中即可获得,是兼容性更高、故障面更小的策略;但 CSR 页面并非必然无法被 Google 索引。

讲到这里,就不得不提现代前端渲染技术的不同流派,渲染这个话题之所以容易把人绕晕,正是因为 SPA、CSR、SSR、SSG 几个术语总被混在一起说。想理清楚,我们先来思考两个不同的问题:

  1. 用户打开或切换页面时,浏览器究竟拿到了什么?
  2. 页面中的 HTML 内容是在什么时候、什么地方生成的?

前一个问题引出传统多页网站与 SPA;后一个问题才引出 CSR、SSR、SSG、ISR等渲染模式。它们彼此有关,却不是同一套分类。

2.1 一次页面请求中发生了什么

浏览器显示一个网页,通常需要三类资源:

  • HTML:正文与结构,例如标题、段落、链接和图片位置;
  • CSS:颜色、字号、间距和布局等视觉样式;
  • JavaScript:交互、状态管理、客户端路由和动态数据请求。

在最传统的网页中,用户访问 URL 后,服务器直接返回包含正文的 HTML。浏览器即使暂时没有执行 JavaScript,也能显示主要内容;爬虫拿到同一份 HTML,也能直接解析标题、正文和链接。

现代 Web 应用为了提供即时搜索、拖拽编辑、无刷新切换等体验,开始把更多工作交给 JavaScript。服务器最初返回的 HTML 可能只含页面框架,正文要等浏览器下载并执行 JavaScript、调用 API 后才出现。搜索引擎需要处理的核心差异由此产生:关键内容是在首次响应中已经存在,还是必须执行 JavaScript 后才能得到。

这也是为什么工程师讨论 SEO 时不能只问“是否用了 React/Vue”,而要继续追问:服务器实际返回了什么 HTML?内容何时生成?页面切换时是否请求了新文档?

2.2 从传统多页网站到 SPA

先看“页面怎样切换”。传统网站通常采用多页应用(Multi-Page Application,MPA)方式:每个 URL 对应一份页面文档,用户点击链接后,浏览器向服务器请求新的 HTML,并整页刷新。

传统多页网站(MPA):
点击链接 → 请求新的 URL → 服务器返回新的 HTML → 浏览器整页刷新

这种方式直观、可靠,但在交互复杂的网站里,每次切换都重新加载文档,客户端状态也较难连续保留。于是出现了 SPA(Single-Page Application,单页应用):浏览器首次加载应用后,后续导航主要由 JavaScript 在当前文档中更新内容和 URL,通常不再整页刷新。

单页应用(SPA):
点击链接 → JavaScript 获取数据或代码 → 更新当前页面 → 同步修改 URL

这里的“单页”不是说网站只有一个业务页面,而是说多个路由通常复用当前浏览器文档。用户仍然可以看到首页、分类页和详情页,也可以拥有不同 URL,只是切换过程发生在客户端。

SPA 的优势是切换流畅、客户端状态容易保留,适合管理后台、邮箱、在线编辑器等复杂应用。但如果公开内容完全依赖客户端 JavaScript,就会增加首屏等待、运行失败和爬虫渲染的不确定性;通配路由处理不当时,不存在的 URL 还可能统一返回 200,形成 soft 404。

不过,SPA 描述的是导航方式,不是内容的渲染位置。 最容易混淆的几组术语实际回答不同问题:

概念它回答的问题含义
MPA / SPA页面怎样切换?请求新文档,或在当前文档内由 JavaScript 更新
CSRHTML 内容主要在哪里生成?浏览器端
SSRHTML 内容在哪里、何时生成?服务器收到请求后
SSGHTML 内容何时生成?构建发布时预先生成

因此,“用了 SPA 就等于纯 CSR、SEO 一定差”这种推断并不成立。一个网站完全可以首次访问时通过 SSR 返回完整 HTML,之后使用 SPA 式导航。Next.js、Nuxt 等框架经常采用这种组合:既在首个响应中提供内容,又保留应用内切换的流畅体验。React、Vue 或 Angular 只是开发工具,使用它们不代表网站必然采用纯 CSR。

理解了导航方式之后,再来看 HTML 究竟在哪里、何时生成。

2.3 五种常见渲染模式

把“页面怎样切换”和“内容在哪生成”这两件事分开之后,下面这五种模式就很好理解了——它们的核心区别只有一个:HTML 是在什么时候、什么地方带着内容生成好的。

五种渲染模式按 HTML 生成时机排列:静态 HTML、SSG、ISR、SSR、CSR

静态 HTML

服务器直接返回已经包含内容的 HTML 文件。交付简单、缓存友好,但更新通常需要重新生成或发布,适合文档、博客和变化不频繁的详情页。

CSR(Client-Side Rendering)

服务器先返回 HTML 壳,浏览器执行 JavaScript、请求 API 后生成主要内容。它适合高度交互的应用,但 JavaScript 错误、资源被阻止、渲染超时或路由错误都可能影响内容发现。

SSR(Server-Side Rendering)

服务器在请求时生成含有内容的 HTML。现代框架通常还会在客户端进行 hydration:复用服务器生成的 DOM,绑定事件和状态,使页面可交互。

SSR 适合频繁变化的公开页面,但服务器计算、缓存和故障处理更复杂。

SSG(Static Site Generation)

构建期生成 HTML,发布后由 CDN 或静态服务器提供。它快、稳定、易缓存,但更新需要重新构建或配合局部发布。

ISR / 增量再生成

在静态交付基础上,按时间或事件更新部分页面。ISR 是 Next.js 推广的术语;其他技术栈也能通过缓存失效、后台生成和原子替换实现类似语义。

ISR 不一定是“数据一变就更新”,也不保证固定的分钟级时效;实际行为取决于框架模式、缓存、触发方式和部署平台。5

2.4 动态渲染与 cloaking

Google 目前把 dynamic rendering(对特定爬虫返回预渲染版本)视为临时绕行方案,而非长期推荐方案,并建议改用 SSR、静态渲染或 hydration。6

但给爬虫和用户返回的 HTML 不完全相同,不会自动构成 cloaking。Google 所说的 cloaking,关键在于意图欺骗搜索系统,并展示实质不同的内容7 无论采用何种方案,主要内容与页面意图都应一致。

渲染解决的是“爬虫拿不拿得到内容”的问题。拿到内容之后,它还会读取页面自己发出的一系列信号——这就是接下来要讲的元信息与 HTTP 状态码。


3. 页面元信息与 HTTP 信号

<title>工程师的 SEO / GEO 入门指南 | CodeLog</title>
<meta name="description" content="从渲染、状态码、sitemap、结构化数据到 AI 搜索,系统理解技术 SEO。">
<link rel="canonical" href="https://codelog.me/seo-beginner-guide/">
<meta name="robots" content="index,follow">
  • title:应准确、简洁且能区分页面。Google 可能根据查询和页面内容改写结果标题,因此它不是“必然显示的蓝色标题”。8
  • description:不是直接排名信号。Google 主要从页面内容生成摘要,有时采用 meta description;应提供独特、准确的概述,不要迷信固定字符数。9
  • canonical:表达首选 URL,但属于信号而非强制指令。重定向、canonical、sitemap 与内链应尽量一致。10
  • robotsnoindex 表示不希望页面进入索引;nofollow 表示不跟踪本页链接。index,follow 是默认行为,通常可以省略。

关键陷阱:robots.txt 如果阻止 Google 抓取某页,Google 就看不到该页 HTML 中的 noindex。若目标是退出索引,应允许抓取并返回 noindex,或对已删除页面返回 404/410。11

3.1 社交分享元数据

Open Graph 和 X Card 元数据主要控制社交分享预览。它们有助于分享体验,但没有可靠证据表明它们是通用 GEO 排名或引用信号,也不能假定所有 AI 答案卡片都会读取这些字段。

3.2 状态码与重定向

状态码含义工程建议
200成功仅对确实存在并正常提供主要内容的页面返回
301 / 308永久重定向长期迁移使用;是目标 URL 应成为 canonical 的强信号
302 / 303 / 307临时重定向临时跳转使用;Google 通常保留源 URL,但会结合持续时间与其他信号判断
404未找到不存在的 URL 应真实返回 404,可同时提供友好错误页
410已永久删除明确表示已删除;404 与 410 最终都会使 URL 退出索引

“302 权重不转移”是过度简化。Google 把永久重定向视为强 canonical 信号,把临时重定向视为较弱信号,并会结合其他信号处理。12

不存在的路由若仍返回 200 和“Not Found”文案,搜索引擎可能判断为 soft 404。这在 SPA 通配回退路由中尤其常见。

上面说的都是单个页面层面的信号。再站到整个站点的视角,还有两个小文件会直接影响爬虫的行程安排:robots.txt 告诉它哪些地方别去,sitemap 则递给它一份应该去的清单。


4. robots.txt 与 sitemap

一句话概括这两者的分工:robots.txt 管“拦”,sitemap 管“引”。

robots.txt 像闸门拦截爬虫,sitemap 像地图指引爬虫

4.1 robots.txt 管理抓取,不负责保密

User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
  • robots.txt 是受支持爬虫遵循的抓取规则,不是安全控制;敏感内容必须使用登录鉴权。
  • Disallow 阻止抓取,不保证 URL 不出现在结果中。若目标是不索引,应使用能被爬虫读取的 noindex 或正确删除状态码。13
  • OpenAI 将 OAI-SearchBot 用于搜索结果中的发现与展示,将 GPTBot 用于模型训练控制;两者可分别配置。14
  • AI user-agent 的名称与用途可能变化,上线前应检查各平台最新官方说明,并核对 CDN/WAF 是否另有拦截。

4.2 sitemap 提供 canonical URL 清单

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/game/sumo-shove/</loc>
    <lastmod>2026-08-20</lastmod>
  </url>
</urlset>
  • 只放希望被索引的 canonical URL;
  • lastmod 应反映页面主要内容的最后一次重要修改,而不是生成 sitemap 的时间;Google 会在确认该字段长期准确后将其用于抓取调度。15
  • 提交 sitemap 只是提示,不保证抓取或索引。16
  • Search Console 的 URL Inspection 可为少量页面请求重新抓取。
  • Google Indexing API 不是普通网页的批量提交接口;官方只允许用于带 JobPosting 或直播视频 BroadcastEvent 的页面。17
  • IndexNow 可通知支持该协议的搜索引擎 URL 已新增、更新或删除,但不保证抓取或索引。18

至此,爬虫能找到内容、也能看到内容了。我们还可以再往前走一步:帮它“理解”内容——这就是结构化数据的角色。


5. 结构化数据:JSON-LD 与 Schema.org

结构化数据用标准词汇描述实体与关系。Schema.org 提供词汇;JSON-LD、Microdata 和 RDFa 是常见格式。Google 通常推荐 JSON-LD,因为较易维护。

结构化数据可帮助搜索引擎理解内容,并让合格页面获得特定富结果,但不保证展示富结果,也不等于进入知识图谱或被 AI 引用19

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@graph": [
    {
      "@type": "VideoGame",
      "name": "Sumo Shove",
      "description": "Push opponents out of the ring.",
      "genre": ["Arcade", "Physics"],
      "image": "https://example.com/images/sumo-shove.jpg",
      "url": "https://example.com/game/sumo-shove/"
    },
    {
      "@type": "BreadcrumbList",
      "itemListElement": [
        {"@type": "ListItem", "position": 1, "name": "Home", "item": "https://example.com/"},
        {"@type": "ListItem", "position": 2, "name": "Arcade", "item": "https://example.com/games/arcade/"}
      ]
    }
  ]
}
</script>

这里没有默认加入 FAQPage。自 2023 年起,Google 的 FAQ 富结果一般只对知名、权威的政府与健康网站展示;普通站点即使标记写得再规范,也基本拿不到这种富结果展示。20 页面若确实有用户可见 FAQ,可以按语义标注,但不要把 FAQ schema 当作 GEO 捷径。

三条规则:

  1. 只标注页面上真实存在并符合对应类型要求的内容;
  2. 标记必须代表该页主要可见内容,不能误导;
  3. Rich Results Test 检查 Google 富结果,用 Schema Markup Validator 检查更广泛的 Schema.org 语法。

结构化数据帮机器读懂页面,但页面值不值得排到前面,最终还是回到两个朴素的问题:内容好不好?体验好不好?


6. 内容质量与页面体验

6.1 正确理解 E-E-A-T

E-E-A-T 指 Experience、Expertise、Authoritativeness 和 Trustworthiness,其中信任最重要。

E-E-A-T 本身不是可查询分数,也不是单独的排名因子。Google 的自动系统使用多种信号尝试识别这些特征;质量评估员用于评估系统效果,不直接给网页调整排名。21

可落实为:清楚标明作者和更新日期;链接一手来源;展示真实测试、方法和限制;提供可验证的站点与纠错信息;对健康、金融、安全等 YMYL 主题进行更严格的专业审核。

6.2 Core Web Vitals

指标含义良好阈值
LCP加载体验≤ 2.5 秒
INP交互响应≤ 200 毫秒
CLS视觉稳定性≤ 0.1

判断应基于真实用户数据,并看移动端和桌面端各自第 75 百分位。22

SSR/SSG 不保证 CWV 达标。慢 TTFB、大图、阻塞 CSS/JS、hydration、字体和广告位都可能拖累指标。应以 CrUX、Search Console、PageSpeed Insights 或自己的 RUM 数据为准。

6.3 其他基本项

  • 移动端:Google 已全面采用移动优先索引,主要依据移动版内容;移动版不要缺少桌面版的重要正文、图片 alt、结构化数据和 robots 指令。23
  • HTTPS:是安全基础,也是轻量排名信号,但不能弥补内容质量问题。24
  • 内链:使用可抓取的 <a href="..."> 和描述性锚文本。重要页面不应成为孤岛页。

到这里,“经典” SEO 的主线就完整了。而这两年真正的新变量是 AI 搜索:GEO 到底要做些什么?先说结论——要做的事情,远比营销文章大肆宣传的少


7. GEO:已确认规则与实验做法

7.1 已确认:传统 SEO 仍是基础

Google 对 AI Overviews / AI Mode 的官方建议是:

  • 页面需可被索引,并符合在普通搜索中显示摘要的条件;
  • 不需要新的机器可读文件、AI 文本文件或特殊 schema;
  • robots.txt、noindexnosnippetdata-nosnippetmax-snippet 等现有控制仍适用;
  • 有帮助、可靠、以用户为先的内容、良好页面体验、可抓取内链、文本形式的重要内容和准确结构化数据仍是基础。1

对 ChatGPT 搜索,OpenAI 官方说明可通过 OAI-SearchBot 控制搜索发现,通过 GPTBot 单独控制训练使用。允许抓取不等于保证被展示或引用。14

7.2 稳健的内容做法

  • 标题和开头直接回答页面要解决的问题;
  • 分清定义、结论、证据与限制;
  • 为数字、研究和易变化事实提供一手来源及日期;
  • 用清晰的小标题、列表和表格组织复杂信息;
  • 明确实体名称,避免大量无指代对象的“它”“这个”;
  • 提供只有你能提供的一手经验、数据、工具或分析。

这些做法有利于读者和机器抽取,但不应包装成“保证被引用”的算法公式。“AI 天生偏爱某种段落长度”“FAQ 一定更容易被引用”等说法,目前缺乏跨平台、稳定的官方证据。

7.3 llms.txt:可以实验,不要高估

llms.txt 是 2024 年提出的社区提案,建议在站点根目录放置 Markdown 导航文件,帮助 LLM 找到更适合阅读的内容版本。25

截至本文更新时,它不是 robots.txt 或 sitemap 那样的正式互联网标准,也没有可靠证据表明 Google、OpenAI、Anthropic、Perplexity 等主流产品会普遍读取它并据此提高排名或引用概率。维护成本低时可以实验,但优先级应低于可抓取 HTML、内链、sitemap、准确内容与真实外部认可。

7.4 不要混淆训练与搜索引用

训练爬虫、搜索索引爬虫和用户触发抓取可能使用不同 user-agent 与规则。制定策略时应分别考虑:

  1. 是否允许模型训练使用内容;
  2. 是否允许搜索产品发现与展示;
  3. 是否允许用户主动请求工具访问页面;
  4. 是否允许传统搜索生成摘要。

原则和规则讲了不少,落到实际发布时,逐条过一遍清单往往更实用。


8. 上线前验证清单

目标方法
检查服务器 HTMLcurl -L https://example.com/page/,确认标题、canonical、正文与关键链接存在
检查状态码和跳转链curl -I -L https://example.com/page/
查看 Google 实际渲染Search Console → URL Inspection
检查 robots.txtSearch Console robots.txt 报告;同时核对 CDN/WAF
验证结构化数据Rich Results Test;Schema Markup Validator
检查 sitemapGSC Sitemaps 报告;核对 URL、状态码、canonical、lastmod
检查体验PageSpeed Insights、CrUX、GSC CWV、站内 RUM
检查收录与流量GSC 网页索引和效果报告
检查 ChatGPT 引荐分析工具查看 utm_source=chatgpt.com;OpenAI 说明会添加该参数26

curl 看到的是服务器响应,不等同于 Google 最终索引内容;URL Inspection 更适合验证 Googlebot 获取和渲染后的结果。反过来,“查看源代码”没有正文也不代表 Google 必然无法渲染,只说明页面依赖后续 JavaScript,工程风险更高。

最后再往远看一眼:vibe coding 正在让建站变得空前廉价,生成一个网站可能只需要几分钟。但供给爆炸的另一面,是新的网站越来越难被发现。正因如此,SEO 的价值在这个时间点反而更加凸显——它不是玄学,而是一整套让内容被抓取、被理解、被呈现的工程接口。只要握住本文这条主线——抓取、渲染、索引、展示结果的流水线——并把它落到自己站点的架构与发布流程里,SEO 就会成为你日常工作的自然延伸,而不是额外的负担。

作为附录,我把正文出现过的缩写和术语整理成一张速查表,方便回查。


9. 术语速查表

术语全称一句话解释
SEOSearch Engine Optimization提高网页在搜索引擎中被发现、理解和展示机会的工作
GEOGenerative Engine Optimization面向生成式搜索可见性的行业术语,目前没有统一标准
SERPSearch Engine Results Page搜索结果页
CrawlCrawling爬虫发现并请求 URL 与相关资源的过程
IndexIndexing搜索引擎分析页面并决定是否保存到索引的过程
Crawl budget搜索引擎愿意且能够在一定时间内抓取某站点的规模
Bot / crawler自动访问网页、发现链接和获取内容的程序
GooglebotGoogle Search 使用的网页爬虫
WRSWeb Rendering ServiceGoogle 用于执行 JavaScript 和渲染页面的系统
MPAMulti-Page Application切换页面时通常请求新 HTML 文档并整页刷新的应用形态
SPASingle-Page Application后续导航通常在当前文档中由 JavaScript 更新内容与 URL
CSRClient-Side Rendering主要在浏览器中执行 JavaScript 生成 HTML 内容
SSRServer-Side Rendering服务器收到请求后生成页面 HTML
SSGStatic Site Generation在构建发布阶段预先生成 HTML
ISRIncremental Static Regeneration在静态交付基础上按时间或事件增量更新页面
Dynamic rendering对特定爬虫返回预渲染 HTML 的临时绕行方案,不是长期推荐做法
Hydration客户端 JavaScript 为服务器生成的 HTML 绑定状态与交互
Raw / initial HTML服务器对页面请求直接返回、尚未经过客户端 JS 修改的 HTML
Canonical URL搜索引擎从重复或相似 URL 中选择的代表性 URL
rel="canonical"站点向搜索引擎表达首选 canonical URL 的 HTML 信号
robots.txtRobots Exclusion Protocol file位于站点根路径、用于管理受支持爬虫抓取范围的文件
Robots meta通过 noindexnofollow 等指令控制页面索引与链接处理
摘要控制指令nosnippetdata-nosnippetmax-snippet 等,控制搜索结果与 AI 功能是否、如何展示摘要
title 标签页面标题,搜索结果展示中最重要的元素之一;Google 可能根据查询改写它
meta description页面摘要描述,有时被采用为搜索结果摘要;不是直接排名信号
Sitemap向搜索引擎提供希望被发现的 canonical URL 清单
lastmodsitemap 字段,应反映页面主要内容的最后一次重要修改时间
Google Indexing API仅限 JobPosting、直播视频等特定页面类型的通知接口,不是普通网页的批量提交工具
URL InspectionGSC 中查看单个 URL 抓取、渲染与索引情况,并可请求重新抓取的工具
User-agent爬虫的名称标识;robots.txt 按此指令为不同爬虫分别配置规则
GPTBotOpenAI 用于模型训练数据采集的爬虫
OAI-SearchBotOpenAI 用于 ChatGPT 搜索发现与展示的爬虫
CDN / WAFContent Delivery Network / Web Application Firewall内容分发与边缘防护层;可能另行拦截爬虫,需与 robots.txt 一并核对
Soft 404返回 200,但页面内容实质上表示不存在或没有有效内容
Cloaking为操纵搜索排名而向用户和搜索引擎展示实质不同的内容
Structured data使用标准词汇描述页面实体与关系的机器可读标记
Schema.org搜索引擎等共同使用的结构化数据词汇体系
JSON-LDJSON for Linked DataGoogle 推荐使用的结构化数据表达格式之一
Microdata / RDFa除 JSON-LD 外的结构化数据写法,直接嵌入 HTML 属性中
Rich result带评分、面包屑等增强外观的搜索结果
Open Graph / OGOpen Graph Protocol控制网页在社交平台分享预览中的标题、描述和图片
X Card控制网页在 X(原 Twitter)平台分享时展示效果的元数据
E-E-A-TExperience, Expertise, Authoritativeness, TrustworthinessGoogle 用于说明优质可信内容特征的概念框架,而非单独分数
YMYLYour Money or Your Life可能显著影响健康、财务、安全或社会福祉的主题
CWVCore Web Vitals衡量真实用户加载、响应与视觉稳定体验的核心指标组
LCPLargest Contentful Paint衡量主要内容加载体验的指标
INPInteraction to Next Paint衡量用户交互响应体验的指标
CLSCumulative Layout Shift衡量页面意外布局移动的指标
TTFBTime To First Byte从请求发出到收到响应第一个字节的时间,慢 TTFB 会拖累 LCP 等指标
CrUXChrome User Experience ReportGoogle 发布的真实用户体验数据报告
RUMReal User Monitoring在页面内采集真实用户体验数据的监控方式
PageSpeed InsightsGoogle 提供的页面性能与体验在线检测工具
GSCGoogle Search ConsoleGoogle 提供的站点搜索表现与诊断工具
MFIMobile-First IndexingGoogle 主要依据移动版内容进行索引的机制
IndexNow向支持该协议的搜索引擎通知 URL 变化的协议
LLMLarge Language Model大语言模型,ChatGPT 等 AI 产品的底层能力
AI Overviews / AI ModeGoogle 搜索中的 AI 答案功能;官方口径是不需要专门为其做特殊优化
llms.txt面向 LLM 的社区实验性站点导航提案,不是正式搜索标准

参考资料

以下资料按正文首次涉及的主题整理,正文中的脚注标记与各条目一一对应,点击标记即可跳转到对应来源。


  1. Google Search Central, AI features and your website and AI optimization guide↩︎ ↩︎

  2. Google Search Central, In-depth guide to how Google Search works↩︎

  3. Google Search Central, Large site’s guide to managing your crawl budget↩︎

  4. Google Search Central, Understand the JavaScript SEO basics↩︎

  5. Next.js Documentation, Caching and revalidating↩︎

  6. Google Search Central, Dynamic rendering as a workaround↩︎

  7. Google Search Central, Spam policies: Cloaking↩︎

  8. Google Search Central, Influencing your title links↩︎

  9. Google Search Central, Control your snippets↩︎

  10. Google Search Central, Specify a canonical URL↩︎

  11. Google Search Central, Robots meta tag and X-Robots-Tag↩︎

  12. Google Search Central, Redirects and Google Search↩︎

  13. Google Search Central, Introduction to robots.txt↩︎

  14. OpenAI, Overview of OpenAI crawlers↩︎ ↩︎

  15. Google Search Central, What is a sitemap?↩︎

  16. Google Search Central, Build and submit a sitemap↩︎

  17. Google Search Central, Using the Indexing API↩︎

  18. IndexNow, Protocol documentation↩︎

  19. Google Search Central, Structured data introduction and general guidelines↩︎

  20. Google Search Central Blog, Changes to HowTo and FAQ rich results↩︎

  21. Google Search Central, Creating helpful, reliable, people-first content↩︎

  22. web.dev, Web Vitals and CWV thresholds↩︎

  23. Google Search Central, Mobile-first indexing best practices↩︎

  24. Google Search Central Blog, HTTPS as a ranking signal↩︎

  25. llms.txt proposal, The /llms.txt file↩︎

  26. OpenAI Help Center, Publishers and developers FAQ↩︎

Written by : Ryan

Writing about distributed systems, AI engineering, and production internals.

Recommended for You