什么是GPU？为什么AI需要GPU？ | 摩尔线程 GPU 学习中心

一、什么是GPU？

GPU（Graphics Processing Unit，图形处理单元）最初是为计算机图形渲染而设计的专用处理器。与CPU不同，GPU拥有数千个计算核心，专门用于并行处理大量相同类型的计算任务。随着深度学习和人工智能的兴起，GPU已经从单纯的图形渲染工具演变为通用并行计算加速器，成为AI训练和推理不可或缺的核心硬件。

简单来说，如果把CPU比作一个"全能选手"——什么都能做，但一次只能做少量任务；那么GPU就是一支"千人军团"——每个士兵的能力有限，但它们可以同时执行成千上万个简单任务，在处理大规模并行数据时拥有压倒性的速度优势。

💡

为什么叫"图形"处理单元？

GPU最初是为了加速3D游戏渲染而诞生的。3D图形渲染需要对屏幕上每一个像素进行独立的颜色计算——这恰好是一种高度并行的任务。后来研究者发现，神经网络训练中的矩阵运算也具有同样的并行特性，因此GPU被引入AI领域。

二、CPU与GPU架构对比

要理解GPU的价值，我们首先需要对比CPU和GPU在架构设计哲学上的根本差异。

2.1 CPU架构特点

CPU（Central Processing Unit，中央处理器）是计算机的"大脑"，其设计目标是快速处理各种类型的任务。现代CPU通常具有以下特征：

少量强力核心：通常4-64个核心，每个核心都有完整的控制逻辑、大容量缓存和分支预测器
高主频：单核频率可达4-6GHz，擅长处理串行逻辑
复杂流水线：支持乱序执行（Out-of-Order Execution）、分支预测、投机执行等优化
大容量缓存：L1/L2/L3缓存总和可达数十MB，减少内存访问延迟
灵活通用：擅长处理条件分支多、逻辑复杂的串行任务

2.2 GPU架构特点

GPU的设计目标完全不同——它追求的是最大化并行吞吐量：

数千个轻量核心：以摩尔线程MTT S80为例，拥有4096个MUSA核心
SIMT执行模型：单指令多线程（Single Instruction, Multiple Threads），同一条指令在大量数据上并行执行
高带宽内存：GPU配备高带宽显存（如GDDR6/HBM），吞吐量远超CPU内存
简化控制逻辑：每个核心的控制逻辑被大幅简化，将晶体管预算留给更多的计算单元
硬件多线程：通过同时管理上万个线程来隐藏内存访问延迟

🔲 CPU架构

核心1
ALU+Cache

核心2
ALU+Cache

核心3
ALU+Cache

核心4
ALU+Cache

4个强力大核心 · 每核拥有独立缓存和复杂控制逻辑

🟩 GPU架构

数千个轻量小核心 · 共享控制逻辑，极致并行

图1：CPU vs GPU架构示意图 — CPU拥有少量强力核心，GPU拥有大量轻量核心

2.3 一个形象的比喻

想象你需要计算10,000道简单加法题：

CPU方式：请一位数学天才（高主频核心），以极快的速度逐一解答。即便速度再快，也需要串行完成10,000次运算。
GPU方式：请10,000位小学生（轻量核心），每人分配一道题同时计算。虽然每个人计算速度慢一些，但所有题目可以同时完成，总耗时极短。

这就是GPU并行计算的核心思想——用大量简单核心的并行执行来弥补单核性能的不足，在处理大规模数据并行任务时实现数量级的加速。

三、SIMT执行模型

摩尔线程GPU采用SIMT（Single Instruction, Multiple Threads）执行模型，这也是现代GPU通用计算的核心架构。

3.1 SIMT的基本概念

SIMT是SIMD（Single Instruction, Multiple Data）的扩展。在SIMT模型中：

GPU同时管理数千到数百万个线程
线程被组织为固定大小的组（称为Warp，在摩尔线程架构中通常为32个线程一组）
同一个Warp中的所有线程执行相同的指令，但操作不同的数据
硬件调度器自动管理线程的创建、调度和切换

✅

SIMT vs SIMD的关键区别

SIMD要求所有数据通道严格同步执行相同指令，不允许分支；而SIMT允许线程在遇到条件分支时走不同路径（通过Warp Divergence机制，不同分支的线程会被序列化执行），虽然会降低效率但保证了编程灵活性。

3.2 线程层次结构

GPU的线程组织采用三级层次结构，从上到下依次为：

Grid（网格）
整个计算任务 · 包含多个Block

Block（线程块）
一组协作线程 · 共享内存 · 可同步

Thread（线程）
最小执行单元 · 有唯一ID

图2：GPU线程层次结构 — Grid → Block → Thread

Grid（网格）：代表整个Kernel（GPU函数）的执行，包含多个Block。Grid的维度由程序员在启动Kernel时指定。
Block（线程块）：Block内的线程可以通过共享内存（Shared Memory）高效通信，可以进行同步操作。每个Block被调度到一个SM（Streaming Multiprocessor）上执行。
Thread（线程）：最小的执行单元。每个线程有唯一的ID（threadIdx），用于确定该线程处理哪一部分数据。

四、为什么深度学习需要GPU？

深度学习模型的训练和推理本质上是大规模矩阵运算。从神经网络的前向传播到反向传播，每一步都涉及海量的矩阵乘法、卷积运算和逐元素操作。这些运算恰好与GPU的并行架构完美匹配。

4.1 矩阵运算的并行本质

以最基本的全连接层为例，其计算可以表示为：

Y = W × X + b

其中W是权重矩阵、X是输入向量、b是偏置。在实际训练中：

一个大型语言模型（如GPT）可能有数十亿到数万亿个参数
一次前向传播需要执行数万亿次浮点运算（TFLOPS级别）
训练需要在数百万个样本上重复这个过程数百到数千个epoch

矩阵乘法C = A × B的每一个输出元素C[i][j]都可以独立计算（是A的第i行与B的第j列的点积），这意味着矩阵乘法是天然的并行任务——有多少个输出元素，就可以分配多少个并行线程。

4.2 GPU的算力优势

让我们用具体数据说明GPU的算力优势：

一块顶级CPU（如Intel i9-14900K）的FP32算力约为1-2 TFLOPS
摩尔线程MTT S80的FP32算力达到14.4 TFLOPS，约为CPU的10倍以上
摩尔线程MTT S5000的FP8算力更是高达1000 TFLOPS，在AI推理场景下提供惊人的性能

📊

实际加速比

在典型的深度学习训练任务中，使用GPU相比纯CPU通常可以获得10倍-100倍的加速。例如，在CPU上训练一个ResNet-50模型可能需要数天，而在GPU上通常只需要几个小时甚至几十分钟。

4.3 张量核心（Tensor Cores）

现代AI GPU还配备了专用的张量核心（Tensor Cores），它们专门针对矩阵乘加运算（FMA）进行了硬件级优化。摩尔线程的GPU同样配备了张量核心：

MTT S80配备128个张量核心，支持FP16/BF16混合精度运算
张量核心可以在一个时钟周期内完成一个4x4矩阵的乘加运算
相比普通MUSA核心，张量核心在矩阵运算上可提供数倍的性能提升

4.4 高带宽内存

除了计算能力，内存带宽也是深度学习的关键瓶颈。GPU配备高带宽显存：

MTT S80：16GB GDDR6，带宽448GB/s
MTT S5000：80GB，带宽1.6TB/s（采用先进互连技术）
相比之下，CPU的DDR5内存带宽通常只有50-80GB/s

高带宽确保了GPU核心在进行大规模矩阵运算时不会因为"数据饥饿"而空转，充分发挥算力。

五、摩尔线程：国产全功能GPU先驱

摩尔线程（Moore Threads）成立于2020年，是中国领先的GPU芯片设计公司。公司定位于全功能GPU——不仅支持AI计算，还支持图形渲染、视频处理和科学计算，是目前国内少数同时覆盖消费级和数据中心级GPU的芯片企业。

5.1 MUSA统一计算架构

摩尔线程自主研发了MUSA（Moore Threads Unified System Architecture）统一系统架构，类似于NVIDIA的CUDA生态：

MUSA Runtime：GPU运行时库，管理设备、内存、流（Stream）等
muDNN：深度学习加速库，类似cuDNN
MCCL：多GPU集合通信库，类似NCCL
torch_musa：PyTorch的MUSA后端，实现无缝AI训练
MUSIFY：CUDA代码到MUSA的自动迁移工具

✅

本课小结

GPU通过数千个并行核心和SIMT执行模型，在大规模矩阵运算中提供远超CPU的性能。深度学习训练和推理的核心是矩阵运算，与GPU的并行架构天然匹配。摩尔线程通过MUSA架构和完整的软件栈，为国产GPU生态提供了从硬件到软件的全套解决方案。