专项话题►回忆AI时代-从图灵机到人工智能

RNN让计算机学会"记忆"


📚 文章 ( 📝 字数： 987 ⏱ 阅读时间： 3 分钟 )

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是RNN

RNN（Recurrent Neural Network，循环神经网络）是一种专门用于处理序列数据的神经网络，它最大的特点就是具有记忆能力，能够利用之前的信息来理解当前的信息。

譬如，我们让计算机理解这句话今天天气很好，对于人来说我们按顺序阅读今天 → 天气 → 很好当看到”很好”时，我们的大脑已经记住了前面的”今天”和”天气”，因此能够理解整句话,如果只看到最后两个字很好你并不知道到底是什么很好。

因此语言的理解依赖上下文，而上下文本质上就是一种”记忆”，RNN正是为了解决这个问题而设计的。

RNN工作流程

RNN在普通神经网络的基础上，多增加了一份隐藏状态，它可以理解为:

1
2
3
4
5
6
7
          上一次记忆
              │
              ▼
输入 → RNN单元 → 新记忆
              │
              ▼
             输出

每处理一个词，RNN都会：

  • 接收当前输入
  • 读取上一时刻保存的记忆
  • 更新新的记忆
  • 输出结果

然后，把新的记忆继续传递给下一步。

虽然RNN引入了记忆机制，但它并不完美，例如，一篇几千字的文章：

1
2
3
4
5
第一句话
...
（中间几千个词）
...
最后一句

RNN在处理最后一句时，往往已经忘记了第一句话的内容，这就是长期依赖问题。此外，由于 RNN 需要按时间顺序一步一步计算，还存在：

  • 梯度消失或梯度爆炸，导致训练困难；
  • 无法充分并行计算，训练速度较慢。

为了克服这些问题，后来出现了带门控机制的LSTM和GRU。

什么是LSTM

LSTM（Long Short-Term Memory，长短期记忆网络）是一种专门处理序列数据的循环神经网络RNN架构，旨在缓解传统RNN在长序列训练中出现的梯度消失问题。

它自1997年提出以来，长期是自然语言处理、语音识别、时间序列预测等领域最重要的深度学习模型之一，并且至今仍在许多资源受限或时间序列场景中广泛使用。

为什么需要LSTM

譬如，用户问模型这样一个问题我出生在北京，后来去了上海工作，现在别人问我来自哪里？,模型在回复时需要记住最开始的北京，普通的RNN网络，经过几十步计算后，北京的信息会变得很弱甚至丢失：

1
2
3
4
5
6
7
8
北京的信息
████████
↓↓↓↓↓↓
███
↓↓↓↓
█
↓↓
几乎没有了

而LSTM却一直会保存它。 因为和RNN相比LSTM的创新是引入了一个细胞状态（cell state），如下：

1
2
3
4
5
6
7
8
9
10
11
           h(t-1)
             │
             ▼
        ┌────────────┐
 C(t-1) │            │
───────►│    LSTM    │──────► C(t)
        │            │
        └────────────┘
               │
               ▼
              h(t)

其中：

  • C（Cell State）：长期记忆
  • h（Hidden State）：当前输出

它可以跨越多个时间步携带信息，同时通过多个门（gate）控制信息流动：

  • 遗忘门（Forget Gate）：决定哪些历史信息应该保留或丢弃。
  • 输入门（Input Gate）：决定哪些新的信息写入记忆。
  • 输出门（Output Gate）：决定当前隐藏状态输出哪些信息。

RNN与LSTM对比

特性 RNN LSTM
是否有长期记忆 ❌ ✅
是否有门控机制 ❌ ✅（遗忘门、输入门、输出门）
是否容易梯度消失 是 大幅缓解
能处理长序列 较差 较好
计算复杂度 较低 较高
应用 简单序列 长文本、语音、时间序列预测等

什么是GRU

GRU（Gated Recurrent Unit，门控循环单元）就是一种更简单、更轻量的LSTM

RNN、LSTM和GRU三个对比：

特性 RNN LSTM GRU
长期记忆 ❌ ✅ ✅
门数量 0 3 2
Cell State ❌ ✅ ❌
Hidden State ✅ ✅ ✅
参数数量 最少 最多 中等
训练速度 最快 最慢 较快
长距离依赖 差 很好 很好
专项话题►回忆AI时代-从图灵机到人工智能

CNN让计算机"看见"世界

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

什么是CNN

CNN（Convolutional Neural Network，卷积神经网络）是一种专门用于处理图像数据的深度学习模型，它最大的特点是能够自动从图像中学习特征，而无需人工设计图像的特征。

譬如下图是一张猫的图片，人类几乎一眼就能判断这是一只猫但对于计算机来说，它看到的并不是猫，而是一大堆数字。因为图片实际上是由大量像素组成，每个像素都对应着 RGB（三原色）数值，计算机需要从这些数字中发现规律，最终判断图片中是否存在一只猫。

猫

为什么是CNN

前文介绍过神经网络，为什么CNN比普通的神经网络更适合处理图像呢？譬如有一张100 × 100的灰度图片，共包含100 × 100 = 10000个像素。如果直接将这10000个像素，全部输入到普通的全连接神经网络中，那么每一个神经元都需要与所有输入相连接，当网络层数增加时，参数数量很容易达到数千万甚至更多，不仅训练速度慢、内存开销大，而且非常容易出现过拟合的现象。

CNN则采用了完全不同的思路。它认为没有必要一开始就观察整张图片，而是像人观察事物一样，先看局部，再逐渐组合成整体。
CNN会利用卷积操作，在图片上用一个较小的窗口（卷积核）不断滑动，每次只关注图片中的一小块区域，例如边缘、纹理、颜色变化等局部特征。随着网络不断加深，这些简单特征会逐渐组合成更加复杂的特征，最终识别出眼睛、耳朵、鼻子，甚至整只猫。

CNN的出现，使计算机第一次能够自动学习图像特征，摆脱了传统计算机视觉中依赖人工设计特征（Feature Engineering）的方法，极大地提升了图像识别的准确率。

Read More

专项话题►回忆AI时代-从图灵机到人工智能

大模型时代的奠基之作-Attention Is All You Need

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

大模型的奠基之作《Attention Is All You Need Transformer》（中文译“注意力就是你所需要的一切”）是2017年由谷歌八位科学家联合发表的一篇里程碑式机器学习研究论文。论文中提出了自注意力机制的深度学习框架Transformer，如今已经成为大多数大模型的核心基础，可以处理文本、代码、音频和视频类数据等。

Transformer架构与工作原理

以下是Transformer的工作流程，图的左边是输入信息，右边是输出信息。
Transformer

Transformer整个工作流程共分为三大部分：

    1. 嵌入词向量（Embedding）
    1. 编码器（Encoder）
    1. 解码器（Decoder，包含Linear与Softmax输出）

Read More

多彩生活►运动&健身

新加坡东部50公里骑行

2026.7.4 应该是今年骑行最长的一次，全部下来大概50公里。最近几个同事买了自行车，本来是想环岛骑行的，但我觉得环岛全程下来要180公里，如果开始就骑180公里可能身体会受不了，最终组织了个50公里的路线。 今天我们跑的环岛路线（路线）整个行程如下：

骑行路线

骑完之后最大的感受是，新加坡并不是所有骑行路线都那么友好，有些路段需要频繁经过人行道、过马路或者与机动车混行，骑行体验会受到一定影响。

就我个人而言，目前最喜欢的还是Changi Beach Park到东海岸（East Coast Park）这一段路线。几乎全程都是专门的骑行道，路况平坦、风景优美，骑起来非常舒服，也是我平时最常去的一条线路。

虽然这次实际骑行距离只有约50公里，但因为中途停下来休息、拍照、吃东西，再加上部分路段需要放慢速度，整个行程最终花了将近5个小时。虽然耗时比预想中更长，但一路欣赏风景、感受海风，也算是一次非常惬意的环岛骑行体验。

Read More

专项话题►回忆AI时代-从图灵机到人工智能

Harness

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是Harness

2026年2月，OpenAI工程师Ryan Lopopolo发表了一篇颇具影响力的文章《Harness Engineering: Leveraging Codex in an Agent-First World》。
文中披露了一组令人印象深刻的数据,一个小团队仅用了5个月，借助Codex自动完成了约100万行代码、创建了1500个PR，整个过程中几乎没有人工编写任何代码。这并非实验室里的Demo，而是一套已经拥有内部日活用户的真实生产系统。OpenAI将这种全新的AI开发模式称为Harness Engineering。

Harness的本意

Harness原本是一个英语单词，意思是马具、挽具。一匹马再强壮，如果没有马鞍、缰绳和车架，就无法稳定地拉动车辆，更无法按照人的意图完成复杂任务。

如果把AI大模型比作一匹拥有巨大潜力的骏马，那么Harness就相当于驾驭它的一整套装备——不仅包括缰绳和马鞍，还包括马车、驾驶规则以及控制系统。它负责让模型的能力真正转化为稳定、可靠、可持续的生产力。

AI编程中的Harness

在AI编程领域，Harness并不是模型本身，而是围绕模型构建的一整套工程化支撑系统。

它包含了模型之外所有用于约束、增强、管理和协同模型工作的基础设施，使原本只能进行单次推理的大模型，能够持续、稳定地完成复杂的软件开发任务。可以把它理解为：

1
Harness = 模型之外的一切工程能力。

这些能力通常包括：

  • 为模型提供上下文（Context）和提示词（Prompt）；
  • 调用各种工具（Tools）和外部 API；
  • 管理记忆（Memory）和长期状态；
  • 自动执行、测试、调试代码；
  • 与 Git、PR、CI/CD 等开发流程集成；
  • 控制任务规划、权限、安全和错误恢复；
  • 协调多个 Agent 协同完成复杂任务。

因此，真正决定AI能否参与大型软件工程的，不仅仅是模型本身，更重要的是这套围绕模型构建的 Harness。可以说，模型负责“思考”，而 Harness 负责“让思考真正落地执行”。随着AI Agent的快速发展，业界越来越认同一个观点Agent = LLM + Harness其中，LLM提供智能，而Harness 提供工程能力,二者结合，才能让AI从一个“会回答问题的大模型”，成长为一个真正能够独立完成工作的智能体（Agent）。

Read More

专项话题►回忆AI时代-从图灵机到人工智能

AI的两次寒冬期


📚 文章 ( 📝 字数： 853 ⏱ 阅读时间： 2 分钟 )

系列文章见: 《回忆AI时代-从图灵机到人工智能》

1956年，达特茅斯会议正式提出 Artificial Intelligence（人工智能）概念，此后AI迎来第一轮高速发展，相继诞生搜索算法、国际象棋程序、数学定理证明、自然语言理解、感知机等标志性成果。彼时大批科学家信心高涨，乐观预言二十年之内机器将胜任人类的全部工作。

恰逢美苏冷战阶段，各国急需大批量自动翻译俄文科技文献，行业提出了无需人工介入、实现多国语言全自动互译的宏大目标。全社会对人工智能抱有极高期待，催生了严重的行业泡沫。盲目乐观带来的技术愿景远远超出了当时硬件与算法的实际能力，理想迅速撞上现实瓶颈，人工智能接连迎来两次寒冬：

  • 第一个寒冬期（1974-1980）
  • 第二个寒冬期（1987-1993）

第一个寒冬期

进入寒冬期共有五个原因：

  • 1. 计算机太慢：1970 年大型计算机几万倍以上的算力，很多算法理论上可以运行，譬如搜索树，但因为计算慢搜索空间爆炸，导致程序越来越慢。
  • 2. 机器学习能力几乎没有：在那个时间段，主要还处于规则时代，如果规则不全，程序就不知道下一步怎么做。
  • 3. 感知机被证明能力有限：不能解决 XOR 问题。
  • 4. 政府削减经费：英国发布了著名的 Lighthill Report报告指出，AI 的成果远没有宣传那么好。随后英国政府大幅减少AI研究经费，美国国防部门也逐渐减少投入。
  • 5. 过度宣传：自动翻译、自动推理和自动理解世界，但结果都没有实现。

第二次 AI 寒冬

专家系统（Expert System）突然火起来，譬如医疗、金融、保险、制造都在大量使用，很多公司认为AI时代已经到来，但最终又是失败。主要原因：

  • 1. 知识获取困难：专家系统需要自己写规则，如果一个医生有10万条规则，程序员就需要写10万条规则，同时医生很多判断依赖长期经验，所以导致这里知识获取困难。
  • 2. 维护成本高：新增一条规则，可能会影响其它规则，导致规则越来越复杂
  • 3. 不能学习：专家系统不会自己学习，一条规则录入后，后续变化无法及时更新。
  • 4. 专用AI硬件市场崩溃：当时很多企业购买昂贵的Lisp Machine来运行AI软件。后来普通工作站尤其是基于Unix的工作站和PC越来越便宜，性能迅速提升，导致昂贵的AI专用硬件失去竞争力，相关厂商大量倒闭。
  • 5. 商业泡沫：大量公司名字里只要带AI就能融资,后来效果不好投资全部撤离。
  • 日本第五代计算机计划失败:1982年，日本第五代计算机系统项目投入巨额资金，希望开发基于逻辑推理的新一代智能计算机,但最终目标没有实现，世界开始重新怀疑AI。