📺 斯坦福 CS 149 并行计算 ⭐️

课程名称： Parallel Computing
课程官网地址：2022年春
先修课程： CS 143 编译器
重要程度： 人工智能相关学生和从业者推荐学习
课程评点： 本课老师2018年前在CMU授课15-418/15-618，现在斯坦福，本课官网配备的课件、作业比较详实，可以结合CMU 15-418一起学习

课程说明

从智能手机到多核 CPU 和 GPU，再到世界上最大的超级计算机和网站，并行处理在现代计算中无处不在。本课程的目标是深入理解设计现代并行计算系统所涉及的基本原理和工程权衡，并教授有效利用这些机器所必需的并行编程技术。因为编写好的并行程序需要了解关键的机器性能特征，所以本课程将涵盖并行硬件和软件设计。

大多数新的计算机体系结构都是并行的；对这些机器进行编程需要了解编写并行软件的基本问题和技术。主题：当前硬件中的各种并行性（例如，快速网络、多核、GPU 等加速器、矢量指令集）、局部性的重要性、隐式与显式并行性、共享与非共享内存、同步机制（锁定、原子性）、事务、障碍）和并行编程模型（线程、数据并行/流、MapReduce、Apache Spark、SPMD、消息传递、SIMT、事务和嵌套并行）。

关于授课老师

本课老师Kayvon Fatahalian在斯坦福大学还开过CS248计算机图形学导论，在CMU开设15-418/15-618并行计算机架构与程序。

授课老师主页：Kayvon Fatahalian

指定参考书籍

计算机体系结构：量化研究方法

这本书是计算机体系结构领域的“圣经”，两位作者因“开创了一种系统的、定量的方法来设计和评价计算机体系结构，并对微处理器行业产生了持久的影响”，获得2017年度的图灵奖。其中约翰·亨尼西是斯坦福大学第10任校长，是Google董事会主席，有“硅谷教父”的美誉。

计算机体系结构：量化研究方法（第6版）

去京东购买支持正版

CUDA by Example

CUDA by Example An Introduction to General-Purpose GPU Programming，目前没有中文资料，这里提供电子书下载。

百度网盘：电子书下载提取码: jaiv

大规模并行处理器程序设计

这本书目前没有被国内翻译，只有第3版的英文影印版（目前该书在2022年已经出到第4版了），本书作者David B Kirk是NVIDIA前任首席科学家和架构副总裁，获得过2006年ACM SIGGRAPH计算机图形成就奖，而另一位作者胡文美获得过1999年ACM Grace Murray Hopper奖。这本书是并行编程领域必读之作，被图灵奖得主DavidPatterson誉为“天赐之书”，并被UIUC、MIT等名校用作教材。