专项话题►回忆AI时代-从图灵机到人工智能

ChatGPT将AI带入大众时代!


📚 文章 ( 📝 字数： 825 ⏱ 阅读时间： 3 分钟 )

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是ChatGPT

2022年11月，一个名叫ChatGPT的产品上线，短短两个月，它突破一亿用户，成为互联网历史上增长最快的应用。许多人第一次感受到机器似乎真的开始“思考”了。

ChatGPT（GPT的全称是Generative Pre-trained Transformer，生成式预训练Transformer模型）是OpenAI公司的产品,目前ChatGPT迭代的版本：

时间 模型 主要突破
2018 GPT-1 提出预训练 + 微调范式
2019 GPT-2 参数大幅增长，生成能力显著提升
2020 GPT-3 1750 亿参数，Few-shot Learning
2022 InstructGPT 引入 RLHF，更好遵循人类指令
2022 ChatGPT 将大语言模型以对话形式带给大众
2023 GPT-4 推理能力增强，支持图像理解
2024 GPT-4o 原生多模态，实时语音与视觉交互
2025 GPT-4.1 提升编程、长上下文和开发者体验
2025 GPT-5 综合推理、工具调用和多模态能力进一步提升

OpenAI成立于2015年总部位于美国旧金山，最初是一家人工智能研究机构，目标是推动人工智能技术的发展并让人工智能能够造福全人类

ChatGPT发展历程

2017年，谷歌就发表的发表了《Attention Is All You Need》论文，提出了Transformer 架构。这篇论文主要证明了Attention 可以替代 RNN/LSTM，它主要解决：

  • 机器翻译
  • 文本摘要
  • 问答系统

2018年，OpenAI很快发现Transformer不仅能翻译，还能预测下一个词，于是提出了GPT（Generative Pre-trained Transformer）,当时GPT有1.17 亿参数，虽然能做一些预测，譬如“今天天气很好” 预测下一个词“我们”，但他经常乱说、理解能力比较弱、不会聊天。

2019年，GPT-2达到15亿的参数，第一次让人感觉AI写文章很厉害。但当然仍然有一些问题，譬如不稳定、上下文短等。

2020年，GPT-3一下变成了1750亿个参数，大量的数据训练让模型有了以前没有的能力，譬如：

  • 写代码
  • 翻译
  • 总结
  • 写诗
  • 回答问题
  • 推理

OpenAI 做了最重要的一件事RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习），它大概得工作流程：

1
2
3
4
5
6
7
8
9
10
GPT 生成多个答案
↓
人工挑最好
↓
训练奖励模型
↓
强化学习
↓
GPT 学会：
"人喜欢这样回答"

于是模型开始：

  • 更礼貌
  • 更有逻辑
  • 更愿意一步一步解释
  • 更像聊天

2022年，ChatGPT上线，将大语言模型以对话形式带给大众，让人们第一次感受到机器似乎真的开始“思考”了。

为什么类似ChatGPT产品没有在2017年就诞生

Transformer架构早在2017年就已提出，为什么基于它的大语言模型产品如ChatGPT却直到 2022年之后才如雨后春笋般涌现？这里分两种情况看：

  • 硬件的成熟：如英伟达的大规模GPU集群、更成熟的分布式训练、更强的计算能力让训练超大模型成为可能。
  • 数据成熟：互联网文本越来越丰富，如Wikipedia、GitHub、Books、Common Crawl、Stack Overflow 模型有了更多高质量的数据。