NVIDIA A100 Tensor Core GPU 基于全新 NVIDIA Ampere GPU 架構(gòu)，并以之前的 NVIDIA Tesla V100 GPU 的功能為基礎(chǔ)。它添加了許多新功能，并為 HPC、AI 和數(shù)據(jù)分析工作負(fù)載提供了顯著更快的性能。?

A100 為在單 GPU 和多 GPU 工作站、服務(wù)器、集群、云數(shù)據(jù)中心、邊緣系統(tǒng)和超級計算機中運行的 GPU 計算和深度學(xué)習(xí)應(yīng)用程序提供強大的擴展能力。A100 GPU 支持構(gòu)建彈性、多功能和高吞吐量的數(shù)據(jù)中心。

A100 GPU 包括革命性的新型多實例 GPU?(MIG) 虛擬化和 GPU 分區(qū)功能，這對云服務(wù)提供商 (CSP) 特別有利。當(dāng)配置為 MIG 操作時，A100 允許 CSP 提高其 GPU 服務(wù)器的利用率，無需額外成本即可提供多達(dá) 7 倍的 GPU 實例。強大的故障隔離功能使他們能夠安全可靠地對單個 A100 GPU 進(jìn)行分區(qū)。

A100 增加了強大的全新第三代 Tensor Core，與 V100 相比，吞吐量大幅提升，同時添加了對 DL 和 HPC 數(shù)據(jù)類型的全面支持，以及新的 Sparsity 功能，可將吞吐量進(jìn)一步提高一倍。?

A100 中的新 TensorFloat-32 (TF32) Tensor Core 運算提供了一種在 DL 框架和 HPC 中加速 FP32 輸入/輸出數(shù)據(jù)的簡單路徑，其運行速度比 V100 FP32 FMA 運算快 10 倍，或者在稀疏性情況下快 20 倍。對于 FP16/FP32 混合精度 DL，A100 Tensor Core 的性能是 V100 的 2.5 倍，在稀疏性下提高到 5 倍。?

新的 Bfloat16 (BF16)/FP32 混合精度 Tensor Core 運算的運行速度與 FP16/FP32 混合精度相同。INT8、INT4 和二進(jìn)制的 Tensor Core 加速完善了對深度學(xué)習(xí)推理的支持，A100 稀疏 INT8 的運行速度比 V100 INT8 快 20 倍。對于 HPC，A100 Tensor Core 包括符合 IEEE 規(guī)范的全新 FP64 處理，其 FP64 性能是 V100 的 2.5 倍。?

NVIDIA A100 GPU 的架構(gòu)不僅可以加速大型復(fù)雜工作負(fù)載，還可以有效加速許多較小的工作負(fù)載。A100 能夠構(gòu)建能夠滿足不可預(yù)測的工作負(fù)載需求的數(shù)據(jù)中心，同時提供細(xì)粒度的工作負(fù)載配置、更高的 GPU 利用率和更低的 TCO。?