并行計(jì)算與高性能計(jì)算
鏈接：https://pan.baidu.com/s/14L8tpVf7cRoCZ_FKI6O3PQ?pwd=d74b?
提取碼：d74b
編寫可擴(kuò)展的、快速、強(qiáng)大、節(jié)能的程序，才適合處理大量數(shù)據(jù)。使用并行編程，可將數(shù)據(jù)處理任務(wù)分布在多個(gè)CPU上完成，從而從根本上提高性能。只需要稍加學(xué)習(xí)，讀者就可以創(chuàng)建速度和效率的軟件。
《并行計(jì)算與高性能計(jì)算》將講述用于提高代碼運(yùn)行效率的技術(shù)。你將學(xué)習(xí)評估硬件架構(gòu)，學(xué)會(huì)使用OpenMP和MPI等行業(yè)標(biāo)準(zhǔn)工具，將掌握用于高性能計(jì)算的數(shù)據(jù)結(jié)構(gòu)和算法，并學(xué)習(xí)手持設(shè)備的節(jié)能技術(shù)。你甚至可在一組GPU上運(yùn)行大規(guī)模海嘯仿真程序。
內(nèi)容簡介
主要內(nèi)容
●規(guī)劃新的并行項(xiàng)目
●了解CPU和GPU架構(gòu)上的差異
●找到性能不佳的內(nèi)核和循環(huán)
●使用批處理調(diào)度來管理應(yīng)用程序
作者簡介
Robert Robey在洛斯阿拉莫斯國家實(shí)驗(yàn)室工作，30多年來一直活躍在并行計(jì)算領(lǐng)域。Yuliana Zamora目前是芝加哥大學(xué)的博士生及Siebel學(xué)者，曾在許多國家會(huì)議上講授現(xiàn)代硬件編程技術(shù)。
目錄
第Ⅰ部分 并行計(jì)算介紹
第1 章 為什么使用并行計(jì)算 3
1.1 為什么要學(xué)習(xí)并行計(jì)算 5
1.2 并行計(jì)算的基本定律 9
1.3 并行計(jì)算如何工作 12
1.4 對并行方法進(jìn)行分類 24
1.5 并行策略 25
1.6 并行加速與比較加速：兩種不同的衡量標(biāo)準(zhǔn) 26
1.7 你將在本書中學(xué)到哪些內(nèi)容 27
1.8 本章小結(jié) 28
第2 章 規(guī)劃并行化 29
2.1 處理新項(xiàng)目：準(zhǔn)備工作 30
2.2 概要分析：探測系統(tǒng)功能和應(yīng)用程序性能之間的差距 42
2.3 計(jì)劃：成功的基礎(chǔ) 42
2.4 實(shí)施 44
2.5 提交：高質(zhì)量的打包過程 45
2.6 進(jìn)一步探索 46
2.7 本章小結(jié) 46
第3 章 性能極限與分析 49
3.1 了解應(yīng)用程序的潛在性能限制 49
3.2 了解硬件性能：基準(zhǔn)測試 52
3.3 描述你的應(yīng)用程序：分析 59
3.4 進(jìn)一步探索 71
3.5 本章小結(jié) 71
第4 章 數(shù)據(jù)設(shè)計(jì)和性能模型 73
4.1 數(shù)據(jù)結(jié)構(gòu)與性能：面向數(shù)據(jù)的設(shè)計(jì) 74
4.2 緩存未命中的3C：強(qiáng)制、容量與沖突 86
4.3 簡單性能模型：案例研究 90
4.4 高級性能模型 98
4.5 網(wǎng)絡(luò)消息 101
4.6 進(jìn)一步探索 103
4.7 本章小結(jié) 104
第5 章 并行算法與模式 105
5.1 并行計(jì)算應(yīng)用的算法分析 105
5.2 性能模型與算法復(fù)雜性 106
5.3 什么是并行算法 109
5.4 什么是哈希函數(shù) 110
5.5 空間哈希：一種高并行度算法 111
5.6 prefix sum(掃描)模式及其在并行計(jì)算中的重要性 132
5.7 并行全局和：解決關(guān)聯(lián)性問題 135
5.8 并行算法研究的未來 141
5.9 進(jìn)一步探索 141
5.10 本章小結(jié) 142
第II 部分 CPU：并行的主力第6 章 向量化：免費(fèi)的flop 145
6.1 向量及單指令多數(shù)據(jù)流(SIMD)概要 145
6.2 向量化的硬件趨勢 146
6.3 向量化方法 147
6.4 實(shí)現(xiàn)更好向量化的編程風(fēng)格 163
6.5 與編譯器向量化相關(guān)的編譯器標(biāo)志 164
6.6 使用OpenMP SIMD 指令實(shí)現(xiàn)更好的移植性 170
6.7 進(jìn)一步探索 172
6.8 本章小結(jié) 173
第7 章 使用OpenMP 實(shí)現(xiàn)并行計(jì)算 175
7.1 OpenMP 介紹 175
7.2 典型的OpenMP 用例：循環(huán)級OpenMP、高級OpenMP 和MPI +OpenMP 183
7.3 標(biāo)準(zhǔn)循環(huán)級OpenMP 示例 185
7.4 OpenMP 中變量范圍對結(jié)果準(zhǔn)確性的重要性 193
7.5 函數(shù)級OpenMP：使整個(gè)函數(shù)實(shí)現(xiàn)線程并行 194
7.6 使用高級OpenMP 改進(jìn)并行可伸縮性 196
7.7 使用OpenMP 混合線程及向量化 201
7.8 使用OpenMP 的高級示例 204
7.9 線程工具對健壯程序的重要性 210
7.10 基于任務(wù)的支持算法示例 213
7.11 進(jìn)一步探索 214
7.12 本章小結(jié) 215
第8 章 MPI：并行骨干 217
8.1 MPI 程序基礎(chǔ) 217
8.2 用于進(jìn)程間通信的發(fā)送和接收命令 221
8.3 聚合通信：MPI 的強(qiáng)大組件 227
8.4 數(shù)據(jù)并行示例 236
8.5 使用高級MPI 功能來簡化代碼和啟用優(yōu)化 245
8.6 通過聯(lián)合使用MPI 和OpenMP實(shí)現(xiàn)極高的可擴(kuò)展性 257
8.7 進(jìn)一步探索 259
8.8 本章小結(jié) 261
第III 部分 GPU：加速應(yīng)用程序運(yùn)行
第9 章 GPU 架構(gòu)及概念 265
9.1 作為加速計(jì)算平臺(tái)的CPU-GPU系統(tǒng) 266
9.2 GPU 和線程引擎 268
9.3 GPU 內(nèi)存空間的特點(diǎn) 272
9.4 PCI 總線：CPU 與GPU 之間的數(shù)據(jù)傳輸橋梁 278
9.5 多GPU 平臺(tái)和MPI 284
9.6 GPU 加速平臺(tái)的潛在收益 286
9.7 何時(shí)使用GPU 292
9.8 進(jìn)一步探索 292
9.9 本章小結(jié) 293
第10 章 GPU 編程模型 295
10.1 GPU 編程抽象：通用框架 296
10.2 GPU 編程模型的代碼結(jié)構(gòu) 302
10.3 優(yōu)化GPU 資源利用 306
10.4 約減模式需要跨工作組進(jìn)行同步 309
10.5 通過隊(duì)列(流)進(jìn)行異步計(jì)算 310
10.6 為GPU 定制并行化應(yīng)用程序的策略 311
10.7 進(jìn)一步探索 312
10.8 本章小結(jié) 314
第11 章 基于指令的GPU 編程 315
11.1 為GPU 實(shí)現(xiàn)應(yīng)用編譯指令和pragma 的過程 316
11.2 OpenACC：在GPU 上運(yùn)行的最簡單方法 317
11.2.1 編譯OpenACC 代碼 319
11.2.2 OpenACC 中用于加速計(jì)算的并行計(jì)算區(qū)域 320
11.2.3 使用指令減少CPU 和GPU之間的數(shù)據(jù)移動(dòng) 325
11.2.4 優(yōu)化GPU kernel 329
11.2.5 stream triad 性能結(jié)果的總結(jié) 334
11.2.6 高級OpenACC 技術(shù) 335
11.3 OpenMP：加速器領(lǐng)域的重量級選手 337
11.3.1 編譯OpenMP 代碼 337
11.3.2 使用OpenMP 在GPU 上生成并行工作 339
11.3.3 使用OpenMP 創(chuàng)建數(shù)據(jù)區(qū)域來控制到GPU 的數(shù)據(jù)移動(dòng) 342
11.3.4 為GPU 優(yōu)化OpenMP 346
11.3.5 用于GPU 的高級OpenMP 350
11.4 進(jìn)一步探索 353
11.4.1 擴(kuò)展閱讀 353
11.4.2 練習(xí) 354
11.5 本章小結(jié) 355
第12 章 GPU 語言：深入了解基礎(chǔ)知識(shí) 357
12.1 原生GPU 編程語言的特性 358
12.2 CUDA 和HIP GPU 語言：底層性能選項(xiàng) 359
12.2.1 編寫和構(gòu)建第一個(gè)CUDA應(yīng)用程序 360
12.2.2 CUDA 的約減kernel：事情變得復(fù)雜 367
12.2.3 Hipifying CUDA 代碼 372
12.3 OpenCL：用于可移植的開源GPU 語言 375
12.3.1 編寫和構(gòu)建第一個(gè)OpenCL應(yīng)用程序 376
12.3.2 OpenCL 中的約減 381
12.4 SYCL：一個(gè)成為主流的實(shí)驗(yàn)性C++實(shí)現(xiàn) 384
12.5 性能可移植性的高級語言 387
12.5.1 Kokkos：性能可移植性生態(tài)系統(tǒng) 387
12.5.2 RAJA 提供更具適應(yīng)性的性能可移植性層 390
12.6 進(jìn)一步探索 392
12.6.1 擴(kuò)展閱讀 392
12.6.2 練習(xí) 393
12.7 本章小結(jié) 393
第13 章 GPU 配置分析及工具 395
13.1 分析工具概要 395
13.2 如何選擇合適的工作流 396
13.3 問題示例：淺水仿真 397
13.4 分析工作流的示例 400
13.4.1 運(yùn)行淺水應(yīng)用程序 400
13.4.2 分析CPU 代碼來制定行動(dòng)計(jì)劃 402
13.4.3 為實(shí)施步驟添加OpenACC計(jì)算指令 403
13.4.4 添加數(shù)據(jù)移動(dòng)指令 405
13.4.5 通過引導(dǎo)分析獲取改進(jìn)建議 406
13.4.6 強(qiáng)大的輔助開發(fā)工具：NVIDIA Nsight 工具套件 408
13.4.7 用于AMD GPU 生態(tài)系統(tǒng)的CodeXL 409
13.5 專注于重要指標(biāo) 409
13.5.1 利用率：是否有足夠的工作量 410
13.5.2 發(fā)布效率：你的warp 是否經(jīng)常停滯？ 410
13.5.3 獲得帶寬 411
13.6 使用容器和虛擬機(jī)來提供備用工作流 411
13.6.1 將Docker 容器作為解決方案 411
13.6.2 使用VirtualBox 虛擬機(jī) 413
13.7 移入云端：提供靈活和可擴(kuò)展能力 415
13.8 進(jìn)一步探索 415
13.8.1 擴(kuò)展閱讀 415
13.8.2 練習(xí) 416
13.9 本章小結(jié) 416
第Ⅳ部分 高性能計(jì)算生態(tài)系統(tǒng)
第14 章 關(guān)聯(lián)性：與kernel 休戰(zhàn) 419
14.1 為什么關(guān)聯(lián)性很重要 420
14.2 探索架構(gòu) 421
14.3 OpenMP 的線程關(guān)聯(lián) 422
14.4 進(jìn)程關(guān)聯(lián)性與MPI 429
14.4.1 OpenMPI 的默認(rèn)進(jìn)程放置 429
14.4.2 進(jìn)行控制：在OpenMPI 中指定進(jìn)程放置的基本技術(shù) 430
14.4.3 關(guān)聯(lián)性不僅僅是進(jìn)程綁定：全面討論 434
14.5 MPI+OpenMP 的關(guān)聯(lián)性 436
14.6 從命令行控制關(guān)聯(lián)性 440
14.6.1 使用hwloc-bind 分配關(guān)聯(lián)性 440
14.6.2 使用likwid-pin: likwid 工具套件中的關(guān)聯(lián)工具 441
14.7 展望未來：在運(yùn)行時(shí)設(shè)置和更改關(guān)聯(lián)性 443
14.7.1 在可執(zhí)行文件中設(shè)置關(guān)聯(lián)性 443
14.7.2 在運(yùn)行時(shí)更改進(jìn)程關(guān)聯(lián)性 445
14.8 進(jìn)一步探索 447
14.8.1 擴(kuò)展閱讀 447
14.8.2 練習(xí) 448
14.9 本章小結(jié) 449
第15 章 批處理調(diào)度器：為混亂帶來秩序 451
15.1 無管理系統(tǒng)所帶來的混亂 452
15.2 如何順利地在繁忙的集群中部署任務(wù) 452
15.2.1 繁忙集群中的批處理系統(tǒng)布局 453
15.2.2 如何合理地在繁忙的集群和HPC 站點(diǎn)上運(yùn)行任務(wù)：HPC 中的推薦做法 453
15.3 提交第一個(gè)批處理腳本 454
15.4 為長時(shí)間運(yùn)行的作業(yè)設(shè)定自動(dòng)重啟 459
15.5 在批處理腳本中指定依賴項(xiàng) 463
15.6 進(jìn)一步探索 465
15.6.1 擴(kuò)展閱讀 465
15.6.2 練習(xí) 465
15.7 本章小結(jié) 466
第16 章 并行環(huán)境的文件操作 467
16.1 高性能文件系統(tǒng)的組成部分 467
16.2 標(biāo)準(zhǔn)文件操作：并行到串行(parallel-to-serial)接口 468
16.3 在并行環(huán)境中使用MPI
文件操作(MPI-IO) 469
16.4 HDF5 具有自我描述功能，可更好地管理數(shù)據(jù) 477
16.5 其他并行文件軟件包 485
16.6 并行文件系統(tǒng)：硬件接口 485
16.6.1 并行文件設(shè)置 485
16.6.2 適用于所有文件系統(tǒng)的通用提示 489
16.6.3 特定文件系統(tǒng)的提示 490
16.7 進(jìn)一步探索 493
16.7.1 擴(kuò)展閱讀 493
16.7.2 練習(xí) 494
16.8 本章小結(jié) 494
第17 章 用于編寫優(yōu)質(zhì)代碼的工具和資源 495
17.1 版本控制系統(tǒng)：一切從這里開始 497
17.1.1 分布式版本控制更適合全局協(xié)作 498
17.1.2 通過集中版本控制來簡化操作并提高代碼安全 498
17.2 用于跟蹤代碼性能的計(jì)時(shí)器例程 499
17.3 分析器：不去衡量就無法提升 500
17.3.1 日常使用的基于文本的分析器 501
17.3.2 用于快速識(shí)別瓶頸的高級分析器 502
17.3.3 使用中級分析器來指導(dǎo)應(yīng)用程序開發(fā) 502
17.3.4 通過詳細(xì)分析器了解硬件性能的細(xì)節(jié)信息 504
17.4 benchmark 和mini-apps：了解系統(tǒng)性能的窗口 504
17.4.1 使用benchmark 測量系統(tǒng)性能特征 504
17.4.2 通過mini-apps 提供應(yīng)用程序的視角 505
17.5 為健壯的應(yīng)用程序檢測及修復(fù)內(nèi)存錯(cuò)誤 507
17.5.1 valgrind Memcheck：備用開源方案 507
17.5.2 使用Dr. Memory 診斷內(nèi)存問題 507
17.5.3 對于要求嚴(yán)苛的應(yīng)用程序使用商業(yè)內(nèi)存檢測工具 509
17.5.4 使用基于編譯器的內(nèi)存工具來簡化操作 509
17.5.5 通過Fence-post 檢查器來檢測越界內(nèi)存訪問 510
17.5.6 GPU 應(yīng)用程序所使用的內(nèi)存工具 511
17.6 用于檢測競態(tài)條件的線程檢查器 512
17.6.1 Intel Inspector：帶有GUI 的競態(tài)條件檢測工具 512
17.6.2 Archer：一個(gè)基于文本的檢測競態(tài)條件的工具 512
17.7 Bug-busters：用于消除bug 的調(diào)試器 514
17.7.1 在HPC 站點(diǎn)中廣泛使用的TotalView 調(diào)試器 514
17.7.2 DDT：另一種在HPC 站點(diǎn)廣泛使用的調(diào)試器 514
17.7.3 Linux 調(diào)試器：為本地開發(fā)需求提供免費(fèi)的替代方案 515
17.7.4 通過GPU 調(diào)試器消除GPU bug 515
17.8 文件操作分析 516
17.9 包管理器：你的個(gè)人系統(tǒng)管理員 519
17.9.1 macOS 的包管理器 519
17.9.2 Windows 包管理器 519
17.9.3 Spack 包管理器：用于高性能計(jì)算的包管理器 519
17.10 模塊：加載專門的工具鏈 520
17.10.1 TCL modules：用于加載軟件工具鏈的原始模塊系統(tǒng) 522
17.10.2 Lmod：基于Lua 的替代模塊實(shí)現(xiàn) 523
17.11 思考與練習(xí) 523
17.12 本章小結(jié) 523
附錄A 參考資料 (可從配書網(wǎng)站下載)
附錄B 習(xí)題答案 (可從配書網(wǎng)站下載)
查看全部↓
前言/序言
探險(xiǎn)家最重要的任務(wù)之一就是為后來者畫一張地圖。這對我們這些在科技領(lǐng)域不斷開拓的人來說尤其如此。我們在本書中的目標(biāo)是為那些剛剛開始學(xué)習(xí)并行和高性能計(jì)算的人以及那些想要擴(kuò)大知識(shí)面的人提供一個(gè)路線圖。高性能計(jì)算是一個(gè)快速變化的領(lǐng)域，其中的語言和技術(shù)一直在變化。
出于這個(gè)原因，我們將關(guān)注長期保持穩(wěn)定的基本面。對于用于CPU 和GPU 的計(jì)算機(jī)語言，我們強(qiáng)調(diào)跨許多語言的通用模式，以便你可以快速地為當(dāng)前任務(wù)選擇最合適的語言。
本書的目標(biāo)讀者
本書適用于本科階段高年級的并行計(jì)算課程，也可以作為從事計(jì)算工作的專業(yè)人員的最新文獻(xiàn)。如果你對性能感興趣，無論是運(yùn)行時(shí)間、規(guī)模還是處理能力，本書都將為你提供改進(jìn)應(yīng)用程序和超越競爭對手的工具。隨著處理器達(dá)到規(guī)模、熱量以及功率的極限，我們不能指望下一代計(jì)算機(jī)來加快運(yùn)行我們的應(yīng)用程序。越來越多的高技能和知識(shí)淵博的程序員對于從當(dāng)今的應(yīng)用程序中獲得最大性能至關(guān)重要。
在本書中，我們可以了解當(dāng)今高性能計(jì)算硬件的關(guān)鍵思想。這些是為了性能而編程的基本真理。
這些主題構(gòu)成了整本書的基礎(chǔ)。
