系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

• Transformer架构与工作原理
• 一. 嵌入词向量（Embedding）
  • 1.1 分词
  • 1.2 Tokenizer
  • 1.3 转词向量
  • 1.4 词的位置编码
  • 1.5 整个工作流程
• 二. 编码器（Encoding）
  • 2.1 Multi-Head-Attention
  • 2.2 Residual Connection
  • 2.3 Layer Normalization
  • 2.4 Feed-Forward Network
  • 2.5 整个工作流程
• 三. 解码器
  • 3.1 读取内容
  • 3.2 Masked Multi-Head-Attention (多头注意力机制)
  • 3.3 读取解码器的理解结果
  • 3.4 Feed-Forward Network
  • 3.5 Softmax转换概率
  • 3.6 整个工作流程
• 四. 编码器与解码器

大模型的奠基之作《Attention Is All You Need Transformer》（中文译“注意力就是你所需要的一切”）是2017年由谷歌八位科学家联合发表的一篇里程碑式机器学习研究论文。论文中提出了自注意力机制的深度学习框架Transformer，如今已经成为大多数大模型的核心基础，可以处理文本、代码、音频和视频类数据等。

Transformer架构与工作原理

以下是Transformer的工作流程，图的左边是输入信息，右边是输出信息。

Transformer整个工作流程共分为三大部分：

• 1. 嵌入词向量（Embedding）
• 2. 编码器（Encoder）
• 3. 解码器（Decoder，包含Linear与Softmax输出）

Read More

2026.7.4 应该是今年骑行最长的一次，全部下来大概50公里。最近几个同事买了自行车，本来是想环岛骑行的，但我觉得环岛全程下来要180公里，如果开始就骑180公里可能身体会受不了，最终组织了个50公里的路线。 今天我们跑的环岛路线（路线）整个行程如下：

骑完之后最大的感受是，新加坡并不是所有骑行路线都那么友好，有些路段需要频繁经过人行道、过马路或者与机动车混行，骑行体验会受到一定影响。

就我个人而言，目前最喜欢的还是Changi Beach Park到东海岸（East Coast Park）这一段路线。几乎全程都是专门的骑行道，路况平坦、风景优美，骑起来非常舒服，也是我平时最常去的一条线路。

虽然这次实际骑行距离只有约50公里，但因为中途停下来休息、拍照、吃东西，再加上部分路段需要放慢速度，整个行程最终花了将近5个小时。虽然耗时比预想中更长，但一路欣赏风景、感受海风，也算是一次非常惬意的环岛骑行体验。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是Harness

2026年2月，OpenAI工程师Ryan Lopopolo发表了一篇颇具影响力的文章《Harness Engineering: Leveraging Codex in an Agent-First World》。
文中披露了一组令人印象深刻的数据,一个小团队仅用了5个月，借助Codex自动完成了约100万行代码、创建了1500个PR，整个过程中几乎没有人工编写任何代码。这并非实验室里的Demo，而是一套已经拥有内部日活用户的真实生产系统。OpenAI将这种全新的AI开发模式称为Harness Engineering。

Harness的本意

Harness原本是一个英语单词，意思是马具、挽具。一匹马再强壮，如果没有马鞍、缰绳和车架，就无法稳定地拉动车辆，更无法按照人的意图完成复杂任务。

如果把AI大模型比作一匹拥有巨大潜力的骏马，那么Harness就相当于驾驭它的一整套装备——不仅包括缰绳和马鞍，还包括马车、驾驶规则以及控制系统。它负责让模型的能力真正转化为稳定、可靠、可持续的生产力。

AI编程中的Harness

在AI编程领域，Harness并不是模型本身，而是围绕模型构建的一整套工程化支撑系统。

它包含了模型之外所有用于约束、增强、管理和协同模型工作的基础设施，使原本只能进行单次推理的大模型，能够持续、稳定地完成复杂的软件开发任务。可以把它理解为：

1

Harness = 模型之外的一切工程能力。

这些能力通常包括：

• 为模型提供上下文（Context）和提示词（Prompt）；
• 调用各种工具（Tools）和外部 API；
• 管理记忆（Memory）和长期状态；
• 自动执行、测试、调试代码；
• 与 Git、PR、CI/CD 等开发流程集成；
• 控制任务规划、权限、安全和错误恢复；
• 协调多个 Agent 协同完成复杂任务。

因此，真正决定AI能否参与大型软件工程的，不仅仅是模型本身，更重要的是这套围绕模型构建的 Harness。可以说，模型负责“思考”，而 Harness 负责“让思考真正落地执行”。随着AI Agent的快速发展，业界越来越认同一个观点Agent = LLM + Harness其中，LLM提供智能，而Harness 提供工程能力,二者结合，才能让AI从一个“会回答问题的大模型”，成长为一个真正能够独立完成工作的智能体（Agent）。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

1956年，达特茅斯会议正式提出 Artificial Intelligence（人工智能）概念，此后AI迎来第一轮高速发展，相继诞生搜索算法、国际象棋程序、数学定理证明、自然语言理解、感知机等标志性成果。彼时大批科学家信心高涨，乐观预言二十年之内机器将胜任人类的全部工作。

恰逢美苏冷战阶段，各国急需大批量自动翻译俄文科技文献，行业提出了无需人工介入、实现多国语言全自动互译的宏大目标。全社会对人工智能抱有极高期待，催生了严重的行业泡沫。盲目乐观带来的技术愿景远远超出了当时硬件与算法的实际能力，理想迅速撞上现实瓶颈，人工智能接连迎来两次寒冬：

• 第一个寒冬期（1974-1980）
• 第二个寒冬期（1987-1993）

第一个寒冬期

进入寒冬期共有五个原因：

• 1. 计算机太慢：1970 年大型计算机几万倍以上的算力，很多算法理论上可以运行，譬如搜索树，但因为计算慢搜索空间爆炸，导致程序越来越慢。
• 2. 机器学习能力几乎没有：在那个时间段，主要还处于规则时代，如果规则不全，程序就不知道下一步怎么做。
• 3. 感知机被证明能力有限：不能解决 XOR 问题。
• 4. 政府削减经费：英国发布了著名的 Lighthill Report报告指出，AI 的成果远没有宣传那么好。随后英国政府大幅减少AI研究经费，美国国防部门也逐渐减少投入。
• 5. 过度宣传：自动翻译、自动推理和自动理解世界，但结果都没有实现。

第二次 AI 寒冬

专家系统（Expert System）突然火起来，譬如医疗、金融、保险、制造都在大量使用，很多公司认为AI时代已经到来，但最终又是失败。主要原因：

• 1. 知识获取困难：专家系统需要自己写规则，如果一个医生有10万条规则，程序员就需要写10万条规则，同时医生很多判断依赖长期经验，所以导致这里知识获取困难。
• 2. 维护成本高：新增一条规则，可能会影响其它规则，导致规则越来越复杂
• 3. 不能学习：专家系统不会自己学习，一条规则录入后，后续变化无法及时更新。
• 4. 专用AI硬件市场崩溃：当时很多企业购买昂贵的Lisp Machine来运行AI软件。后来普通工作站尤其是基于Unix的工作站和PC越来越便宜，性能迅速提升，导致昂贵的AI专用硬件失去竞争力，相关厂商大量倒闭。
• 5. 商业泡沫：大量公司名字里只要带AI就能融资,后来效果不好投资全部撤离。
• 日本第五代计算机计划失败:1982年，日本第五代计算机系统项目投入巨额资金，希望开发基于逻辑推理的新一代智能计算机,但最终目标没有实现，世界开始重新怀疑AI。

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是Token

在人工智能领域Token被翻译为词元,它是AI模型理解和处理文本的最小基础单位。 模型不能直接阅读人类的文字，它只能理解数字，因此输入给模型的提示词和模型输出的文字，都会先被拆解成一个个 Token，然后再转换成数字进行运算。

大模型如何计算Token

我们通过一个案例来介绍大模型Token的统计方式，一共分为三步：

• 用户输入问题
• 模型理解整个问题
• 开始生成答案

1.用户输入问题

譬如，你问大模型：

1

“什么是机器学习？”

对于模型来说，第一步不是理解文字而是通过Tokenizer（分词器）先把它转换成Token ID,譬如：

按照以上表格对应关系，模型会收到 “[1523, 87, 9361, 34]”，模型会再把Token ID转成向量，如下：

这也就是说模型不能直接阅读人类的文字，它只能理解数字。到目前已经完成了文字与计算机理解的数字转换。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是专家系统

1980年，被称为专家系统（Expert Systems）时代，也是第一波AI商业化浪潮，这一时期AI的核心思想属于符号主义（Symbolic AI）或规则驱动 AI（Rule-based AI）。1970年代末研究人员发现与其让计算机像人一样学习，不如先把专家的知识直接写进去，譬如：

• 医生如何诊断疾病
• 地质学家如何寻找矿藏
• 工程师如何维修设备

如果把这些经验写成IF条件THEN结论，计算机就能够像专家一样推理。

1
2
3
4

IF
    发烧 AND 咳嗽 AND 白细胞高
THEN
    可能是细菌感染

专家系统的组成,通常分为四个部分：

• 知识库（Knowledge Base）
• 推理机（Inference Engine）
• 事实库（Working Memory）
• 用户界面(User Interface)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

             用户
              │
       ┌─────────────┐
       │    用户界面  │
       └─────────────┘
              │
       ┌─────────────┐
       │     推理机   │
       └─────────────┘
        │          │
        │          │
┌────────────┐  ┌────────────┐
│   知识库    │  │ 事实库      │
│   Rules    │  │ 当前数据    │
└────────────┘  └────────────┘

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

ELIZA是规则驱动的对话程序，由Joseph Weizenbaum在1964–1966年开发，ELIZA是人工智能发展史上的一个重要里程碑是最早展示人机自然语言对话可能性的程序之一，它代表了符号主义（规则驱动 AI）的早期成果，虽然它没有真正的语言理解能力，但证明了人机自然语言对话是可行的，也启发了后来的聊天机器人研究。

ELIZA主要的工作原理：

• 关键词匹配（Keyword Matching）
• 模式匹配（Pattern Matching）
• 模板回复（Template Response）

用一个Python来解释它的工作原理：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import re

rules = [
    (r"I feel (.*)",
     "Why do you feel {}?"),

    (r"I need (.*)",
     "Why do you need {}?"),

    (r"My (.*)",
     "Tell me more about your {}."),

    (r".*",
     "Please go on.")
]

while True:
    text = input("You: ")

    if text == "quit":
        break

    for pattern, reply in rules:
        m = re.match(pattern, text, re.I)
        if m:
            if m.groups():
                print("ELIZA:", reply.format(m.group(1)))
            else:
                print("ELIZA:", reply)
            break

运行效果：

1
2
3
4
5
6
7
8

You: I feel tired
ELIZA: Why do you feel tired?

You: My father is strict
ELIZA: Tell me more about your father is strict.

You: Hello
ELIZA: Please go on.