CUDAの解説で，分かりやすくてシンプルにまとまってる資料を見つけました〜．

いずれもPDF注意です．
東京大学情報基盤センター・大島聡史先生による『これからの並列計算のためのGPGPU連載講座』より，

1. GPUとGPGPUの歴史と特徴
2. GPGPUプログラミング環境 CUDA入門編
3. GPGPUプログラミング環境 CUDA最適化編
4. 特別編 CUDAプログラミング Windows編
5. 疎行列ベクトル積を題材としたCUDA最適化プログラミング

特に2と3は非常に良いです．必読です．
あと，プログラムはちゃんと写経しましょう．ぼけーっと写すだけでもぜんぜん理解が違います．

CUDA4.0のような最新の技法・アーキテクチャ等はともかく，また量的にまだまだいろいろ書かれてないことはあるでしょうけど，基本を押さえるのによいです．