系列文章见: 《回忆AI时代-从图灵机到人工智能》

ChatGPT

2022年11月，一个名叫ChatGPT的产品上线，短短两个月，它突破一亿用户，成为互联网历史上增长最快的应用。许多人第一次感受到机器似乎真的开始“思考”了。

ChatGPT（GPT的全称是Generative Pre-trained Transformer，生成式预训练Transformer模型）是OpenAI公司的产品,目前ChatGPT迭代的版本：

OpenAI成立于2015年总部位于美国旧金山，最初是一家人工智能研究机构，目标是推动人工智能技术的发展并让人工智能能够造福全人类

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

我们让计算机判断今天适不适合去七骑车？用感知机的案例。在之前的案例中，程序员把权重w = np.array([2.0, 0.8, 3.0])写到程序中,但实际这里不应该由程序员写到程序中，而是需要给计算机大量历史数据，让它自己学习，譬如：

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

M-P神经元案例

假如，我们让计算机判断今天适不适合去七骑车？用M-P神经元的案例，我们给神经元三个输入X1、X2、X3，如果神经元会输出0~1间，譬如0.95 非常适合汽车。以下为Python示例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

import numpy as np

# 输入
x = np.array([1, 1, 1])

# 权重
w = np.array([2.0, 0.8, 3.0])

# 阈值
theta = 5

# 计算点积（加权和）
s = np.dot(x, w)

# M-P神经元
if s >= theta:
    y = 1
else:
    y = 0

print("加权和：", s)
print("输出：", y)

案例解释：

• 1. np.array() 创建向量
• 2. np.dot() 计算点积
• 3. 输入表示：

     输入	含义	当前值
     x1	天气晴	1
     x2	周末	1
     x3	身体状态好	1

结构：

1
2
3
4
5

x1 ----\
         \
x2 ------> 神经元 --> <判断> -> 0 不适合骑行 
         /              |----> 1 适合骑行
x3 ----/

• 4. 权重对应的含义：

     输入	权重	含义
     x1	2.0	天气
     x2	0.8	周某
     x3	3.0	身体状态

• 5. 阈值（Threshold）,当加权和≥5 时输出1否者为0。
• 6. 实际计算过程：

1
2
3
4
5

  1 × 2.0
+ 1 × 0.8
+ 1 × 3.0
----------
    5.8

• 7. 打印结果：

1
2

加权和： 5.8
输出： 1

表示适合骑行。

骑行案例

骑行案例，条件越好，越适合骑车。这里符合一种规律好的因素越多，结果越偏向"适合骑车。

所以通过神经元画一条分界线就能区分：

1
2
3
4
5
6
7

      适合骑车
        ● ● ●

-----------------  ← 一条直线

      ● ●
    不适合骑车

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是RNN

RNN（Recurrent Neural Network，循环神经网络）是一种专门用于处理序列数据的神经网络，它最大的特点就是具有记忆能力，能够利用之前的信息来理解当前的信息。

譬如，我们让计算机理解这句话今天天气很好，对于人来说我们按顺序阅读今天 → 天气 → 很好当看到”很好”时，我们的大脑已经记住了前面的”今天”和”天气”，因此能够理解整句话,如果只看到最后两个字很好你并不知道到底是什么很好。

因此语言的理解依赖上下文，而上下文本质上就是一种”记忆”，RNN正是为了解决这个问题而设计的。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

• 什么是CNN
• 为什么是CNN
• CNN的发展过程
• CNN是如何工作的

什么是CNN

CNN（Convolutional Neural Network，卷积神经网络）是一种专门用于处理图像数据的深度学习模型，它最大的特点是能够自动从图像中学习特征，而无需人工设计图像的特征。

譬如下图是一张猫的图片，人类几乎一眼就能判断这是一只猫但对于计算机来说，它看到的并不是猫，而是一大堆数字。因为图片实际上是由大量像素组成，每个像素都对应着 RGB（三原色）数值，计算机需要从这些数字中发现规律，最终判断图片中是否存在一只猫。

为什么是CNN

前文介绍过神经网络，为什么CNN比普通的神经网络更适合处理图像呢？譬如有一张100 × 100的灰度图片，共包含100 × 100 = 10000个像素。如果直接将这10000个像素，全部输入到普通的全连接神经网络中，那么每一个神经元都需要与所有输入相连接，当网络层数增加时，参数数量很容易达到数千万甚至更多，不仅训练速度慢、内存开销大，而且非常容易出现过拟合的现象。

CNN则采用了完全不同的思路。它认为没有必要一开始就观察整张图片，而是像人观察事物一样，先看局部，再逐渐组合成整体。
CNN会利用卷积操作，在图片上用一个较小的窗口（卷积核）不断滑动，每次只关注图片中的一小块区域，例如边缘、纹理、颜色变化等局部特征。随着网络不断加深，这些简单特征会逐渐组合成更加复杂的特征，最终识别出眼睛、耳朵、鼻子，甚至整只猫。

CNN的出现，使计算机第一次能够自动学习图像特征，摆脱了传统计算机视觉中依赖人工设计特征（Feature Engineering）的方法，极大地提升了图像识别的准确率。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

• Transformer架构与工作原理
• 一. 嵌入词向量（Embedding）
  • 1.1 分词
  • 1.2 Tokenizer
  • 1.3 转词向量
  • 1.4 词的位置编码
  • 1.5 整个工作流程
• 二. 编码器（Encoding）
  • 2.1 Multi-Head-Attention
  • 2.2 Residual Connection
  • 2.3 Layer Normalization
  • 2.4 Feed-Forward Network
  • 2.5 整个工作流程
• 三. 解码器
  • 3.1 读取内容
  • 3.2 Masked Multi-Head-Attention (多头注意力机制)
  • 3.3 读取解码器的理解结果
  • 3.4 Feed-Forward Network
  • 3.5 Softmax转换概率
  • 3.6 整个工作流程
• 四. 编码器与解码器

大模型的奠基之作《Attention Is All You Need Transformer》（中文译“注意力就是你所需要的一切”）是2017年由谷歌八位科学家联合发表的一篇里程碑式机器学习研究论文。论文中提出了自注意力机制的深度学习框架Transformer，如今已经成为大多数大模型的核心基础，可以处理文本、代码、音频和视频类数据等。

Transformer架构与工作原理

以下是Transformer的工作流程，图的左边是输入信息，右边是输出信息。

Transformer整个工作流程共分为三大部分：

• 1. 嵌入词向量（Embedding）
• 2. 编码器（Encoder）
• 3. 解码器（Decoder，包含Linear与Softmax输出）

Read More

2026.7.4 应该是今年骑行最长的一次，全部下来大概50公里。最近几个同事买了自行车，本来是想环岛骑行的，但我觉得环岛全程下来要180公里，如果开始就骑180公里可能身体会受不了，最终组织了个50公里的路线。 今天我们跑的环岛路线（路线）整个行程如下：

骑完之后最大的感受是，新加坡并不是所有骑行路线都那么友好，有些路段需要频繁经过人行道、过马路或者与机动车混行，骑行体验会受到一定影响。

就我个人而言，目前最喜欢的还是Changi Beach Park到东海岸（East Coast Park）这一段路线。几乎全程都是专门的骑行道，路况平坦、风景优美，骑起来非常舒服，也是我平时最常去的一条线路。

虽然这次实际骑行距离只有约50公里，但因为中途停下来休息、拍照、吃东西，再加上部分路段需要放慢速度，整个行程最终花了将近5个小时。虽然耗时比预想中更长，但一路欣赏风景、感受海风，也算是一次非常惬意的环岛骑行体验。

Read More