附录A CUDA学习资料汇总
1. 官方教程
1.1. CUDA C++ Programming Guide
- 地址： https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html
- 说明： 这是英伟达官方的CUDA编程教程，英文好、时间充裕的同学可以精读官方文档或者著作。
1.2. CUDA C++ Best Practices Guide
- 地址： https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html
- 说明： 这也是英伟达官方的CUDA编程教程，不过侧重点在实践方面，比如如何编程才能最大化利用GPU特性提升性能，建议基础打好之后再来看这个。
2. 书籍推荐
2.1. Professional CUDA C Programming
- 地址： TODO
- 说明： TODO
3. 博客网站
3.1. CUDA编程
- 地址： https://kongenen.github.io/note/cuda/
- 说明： 有26篇完整的CUDA编程文章，且写作时间比较新。
3.2. CUDA编程入门极简教程
- 地址： https://zhuanlan.zhihu.com/p/34587739
- 说明： 知乎文章。速览即可，看完就会写最简单的CUDA代码了。
3.3. CUDA编程-《Professional CUDA C Programming》第1章-读书笔记（文字+图解）
- 地址： https://zhuanlan.zhihu.com/p/628911759
- 说明： 知识点讲的很精要
3.4. 《CUDA C Programming Guide》(《CUDA C 编程指南》)导读
- 地址： https://zhuanlan.zhihu.com/p/53773183
- 说明： 这是NVIDIA CUDA C++ Programming Guide和《CUDA C编程权威指南》两者的中文解读，加入了很多作者自己的理解，对于快速入门还是很有帮助的。但还是感觉细节欠缺了一点，建议不懂的地方还是去看原著。
3.5. CUDA编程入门
- 地址： https://www.zhihu.com/column/c_1188568938097819648
- 说明： 主要是通过一个简单的加法的例子，一步步讲了CUDA优化的若干种方法，拿来上手实践一下还是很棒的。
3.6. NVIDIA CUDA 并行编程
- 地址： https://blog.csdn.net/sunmc1204953974/category_6156113.html
- 说明： CSDN的一个小专栏。这个系列写的也是很全了，十几篇，建议快速通读一下。
4. 开源项目
4.1. CUDA Samples
- 地址： https://github.com/NVIDIA/cuda-samples
- 说明： 英伟达官方提供CUDA开发人员使用的示例，用于展示CUDA工具包中的功能。 支持
CUDA Toolkit的最新版本。
4.2. ONNX Runtime
- 地址： https://github.com/microsoft/onnxruntime
- 说明： 这是微软开源的ONNX Runtime，支持CPU、GPU、NPU等多种硬件后端，速度也很快。
4.3. LightSeq
- 地址： https://github.com/bytedance/lightseq
- 说明： 这是字节跳动开源的生成模型推理加速引擎，BERT、GPT、VAE等等全都支持，速度也是目前业界最快的之一。
4.4. FasterTransformer
- 地址： https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer
- 说明： 这是英伟达开源的Transformer推理加速引擎。
4.5. TurboTransformers
- 地址： https://github.com/Tencent/TurboTransformers
- 说明： 这是腾讯开源的Transformer推理加速引擎。
4.6. DeepSpeed
- 地址： https://github.com/deepspeedai/DeepSpeed
- 说明： 这是微软开源的深度学习分布式训练加速引擎。