1. 本課程將討論并行計算中的通信和成本問題。

2. 并行計算有多種形式，包括共享內(nèi)存并行、消息傳遞并行和GPU并行。

3. 在進(jìn)行問題分解時，可以采用靜態(tài)分區(qū)或動態(tài)分區(qū)的方法。

4. 通信模式可以使用阻塞發(fā)送或非阻塞發(fā)送。

5. 在系統(tǒng)設(shè)計中，通常更容易提高吞吐量而不是降低延遲。

6. 在計算機(jī)系統(tǒng)中，通過將計算任務(wù)分解為多個階段，并動態(tài)地將這些階段映射到不同的資源上，可以提高系統(tǒng)的吞吐量。

7. 通信系統(tǒng)中最慢的部分通常是通信協(xié)議的瓶頸，通過設(shè)置管道，可以提高帶寬并利用系統(tǒng)中的資源。

8. 在計算任務(wù)中，通信的開銷可以通過增加計算的強(qiáng)度來減少，即減少通信與計算的比例。

9. 在并行計算中，通過最大化計算操作的局部性，可以減少數(shù)據(jù)移動的開銷。

10. 在計算系統(tǒng)中，緩存的設(shè)計和數(shù)據(jù)的布局對通信的效率有重要影響，不合理的數(shù)據(jù)布局會導(dǎo)致額外的通信開銷。

11. 在計算機(jī)系統(tǒng)中，緩存的大小和布局會影響緩存命中率和緩存驅(qū)逐的效果。

12. 通信缺失是指由于系統(tǒng)中的通信需求而導(dǎo)致的額外通信開銷。

13. 在高性能計算中，提高算術(shù)強(qiáng)度可以通過優(yōu)化計算的局部性和合并循環(huán)來實現(xiàn)。

14. 內(nèi)存布局和數(shù)據(jù)劃分的方式可以影響緩存的利用率和通信開銷。

15. 在并行計算中，資源爭用和熱點(diǎn)問題會限制系統(tǒng)的性能，需要通過分散資源和避免熱點(diǎn)來提高性能。

16. 在計算機(jī)科學(xué)中，我們經(jīng)常面臨著任務(wù)分配不均衡的問題，特別是在處理不均勻分布的計算任務(wù)時。一個常見的問題是如何確定每個單元格中包含哪些粒子或圓圈，以便進(jìn)行計算。

17. 傳統(tǒng)的順序方法是為每個單元格維護(hù)一個列表，并將相應(yīng)的粒子或圓圈添加到適當(dāng)?shù)牧斜碇?。但這種方法效率低下且不適合并行計算。

18. 另一種方法是并行化粒子或圓圈的計算，然后使用原子操作將它們插入到相應(yīng)的列表中。這種方法雖然工作效率高，但會導(dǎo)致資源爭用和性能下降。

19. 為了避免資源爭用，常見的做法是將問題分解為多個子問題，并在每個處理器上創(chuàng)建本地副本，然后將這些副本合并在一起。

20. 通過將計算和通信保持在本地，并使用高級抽象的并行操作，可以避免使用原子操作和資源爭用，從而提高性能。