python - CUDA 错误 : CUBLAS_STATUS_INVALID_VALUE error when training BERT model using HuggingFace

Question

我正在使用 BERT 模型对 Steam 评论数据集进行情感分析，其中我有 2 个标签:正面和负面。我已经用 2 个线性层对模型进行了微调，代码如下。

 bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",
                                                 num_labels = len(label_dict),
                                                 output_attentions = False,
                                                 output_hidden_states = False)

 class bertModel(nn.Module):
   def __init__(self, bert):
     super(bertModel, self).__init__()
     self.bert = bert
     self.dropout1 = nn.Dropout(0.1)
     self.relu =  nn.ReLU()
     self.fc1 = nn.Linear(768, 512)
     self.fc2 = nn.Linear(512, 2)
     self.softmax = nn.LogSoftmax(dim = 1)

  def forward(self, **inputs):
     _, x = self.bert(**inputs)
    x = self.fc1(x)
    x = self.relu(x)
    x = self.dropout1(x)
    x = self.fc2(x)
    x = self.softmax(x)

  return x

这是我的火车功能:

def model_train(model, device, criterion, scheduler, optimizer, n_epochs):
  train_loss = []
  model.train()
 for epoch in range(1, epochs+1):
   total_train_loss, training_loss = 0,0 
  for idx, batch in enumerate(dataloader_train):
     model.zero_grad()
     data = tuple(b.to(device) for b in batch)
     inputs = {'input_ids':      data[0],'attention_mask': data[1],'labels':data[2]}
     outputs = model(**inputs)
     loss = criterion(outputs, labels)
     loss.backward()
     torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
     #update the weights
     optimizer.step()
     scheduler.step()
     training_loss += loss.item()
     total_train_loss += training_loss
     if idx % 25 == 0:
        print('Epoch: {}, Batch: {}, Training Loss: {}'.format(epoch, idx, training_loss/10))
        training_loss = 0      
  #avg training loss
  avg_train_loss = total_train_loss/len(dataloader_train)
  #validation data loss
  avg_pred_loss = model_evaluate(dataloader_val)
  #print for every end of epoch
  print('End of Epoch {}, Avg. Training Loss: {}, Avg. validation Loss: {} \n'.format(epoch, avg_train_loss, avg_pred_loss))

我在 Google Colab 上运行此代码。当我运行 train 函数时，出现以下错误，我尝试过批量大小为 32、256、512。

RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`

任何人都可以帮我解决这个问题吗？谢谢你。
代码更新:我尝试在 CPU 上运行代码，错误在于矩阵形状不匹配。输入形状，self.bert 后的形状打印在图像中。由于没有执行第一个线性层 (fc1)，因此不会打印其后的形状。

Answer 1

我建议尝试一些可能解决错误的方法。
如图所示forum ，一种可能的解决方案是降低加载数据的批量大小。因为它可能是内存错误。
如果这不起作用，那么我建议如此 github issue 所示更新到新版本的 Pytorch cuda，该版本修复了一个矩阵乘法错误，该错误会释放您的代码可能正在执行的相同错误。因此，如此处所示 forum您可以将 Pytorch 更新为夜间 pip 轮，或使用 CUDA10.2 或 conda 二进制文件。您可以在 pytorch 主页上找到有关此类安装的信息，其中提到了如何安装 pytorch。
如果这些都不起作用，那么最好的办法是在 CPU 上运行较小版本的进程并重新创建错误。在 CPU 而不是 CUDA 上运行它时，您将获得更有用的回溯，可以解决您的错误。
编辑(基于评论):
您的模型中存在矩阵错误。
问题出在你的前向函数然后
模型 BERT 输出一个具有 torch.size (64, 2) 的张量，这意味着如果你把它放在线性层你有它会出错，因为线性层需要输入 (?, 768) b/c 你将它初始化为nn.Linear(768, 512) .为了使错误消失，您需要对张量进行一些转换或初始化另一个线性层，如下所示:

somewhere defined in __init__: self.fc0 = nn.Linear(2, 768)
def forward(self, **inputs):
     _, x = self.bert(**inputs)
     
    x = self.fc0(x)
    x = self.fc1(x)
    x = self.relu(x)
    x = self.dropout1(x)
    x = self.fc2(x)
    x = self.softmax(x)

萨萨克耆那教