在GPU并行编程中,共享内存被划分为多个bank,每个bank独立访问。当多个线程同时访问同一个bank的不同字节时,就会产生bank conflict,这会导致访问延迟和性能下降。那么,我们为什么不直接减少使用的线程数目,使之少于共享内存中每行数据的数量,反而要在每行中添加空数据这么麻烦呢?
这是因为:如果直接让线程数少于共享内存中每行的数据数量,虽然也能避免bank conflict,但会导致共享内存的利用率变低,影响性能。因此,为了充分利用共享内存的性能优势,通常会在共享内存中填充空数据来避免bank conflict。
为了避免bank conflict,可以使用padding的方式将数组中的每一行各自占据一个bank,这样每个线程读取不同行的数据时就不会发生bank conflict。padding的方式是在每行数据后面添加一定数量的空数据,使得每行的字节数恰好是bank的整数倍,这样就能保证每行数据各自占据一个bank。
具体来说,当一个线程访问共享内存中的一个元素时,GPU会根据该元素在共享内存中的地址计算出其所在的bank,然后将该元素从该bank中读取出来。如果该元素所在的bank同时被其他线程访问,就会产生bank conflict。
通过填充空数据,可以使得每个线程访问的数据都位于不同的bank中,从而避免bank conflict,提高访问效率和程序性能。
向原宽度数据填充一列空数据的过程只是对声明的共享内存宽度多加了一列。这个加了一列的宽度在映射到硬件上是不改变实际宽度的,如下图所示:

矩形共享内存的静态填充,填充前:
__global__ void setRowReadColRect(int * out)
{
__shared__ int tile[BDIMY_RECT][BDIMX_RECT];
unsigned int idx=threadIdx.y*blockDim.x+threadIdx.x;
unsigned int icol=idx%blockDim.y;
unsigned int irow=idx/blockDim.y;
tile[threadIdx.y][threadIdx.x]=idx;
__syncthreads();
out[idx]=tile[icol][irow];
}
填充后:
__global__ void setRowReadColRectPad(int * out)
{
__shared__ int tile[BDIMY_RECT][BDIMX_RECT+IPAD];
unsigned int idx=threadIdx.y*blockDim.x+threadIdx.x;
unsigned int icol=idx%blockDim.y;
unsigned
415



被折叠的 条评论
为什么被折叠?



