c - 使用 TF_SessionRun 在 C(而非 C++)中运行 TensorFlow 图形时出现段错误

Question

我正在尝试使用 C API 加载和运行 TensorFlow 图形(我需要在 TensorFlow 项目之外构建，最好不使用 Bazel，所以不能使用 C++)。

该图是一个 3 层 LSTM-RNN，它将 3 个元素的特征向量分类为 9 个类别之一。该图是用 Python 构建和训练的，我已经用 Python 和 C++ 对其进行了测试。

到目前为止，我已经加载了图表，但是在加载图表后我无法运行 session 。我已经进行了相当多的挖掘，但我只找到了一个使用 C API ( here ) 的示例，并且不包括运行图形。

我已经设法将以下内容放在一起，但它会产生段错误(如果我注释掉 TF_SessionRun() 调用，我可以成功运行代码，但当包含 TF_SessionRun() 时我会遇到段错误)。这是代码:

#include "tensorflow/c/c_api.h"
#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include <string.h>
#include <assert.h>
#include <vector>
#include <algorithm>
#include <iterator>


TF_Buffer* read_file(const char* file);

void free_buffer(void* data, size_t length) {
        free(data);
}

static void Deallocator(void* data, size_t length, void* arg) {
        free(data);
}

int main() {
  // Use read_file to get graph_def as TF_Buffer*
  TF_Buffer* graph_def = read_file("tensorflow_model/constant_graph_weights.pb");
  TF_Graph* graph = TF_NewGraph();

  // Import graph_def into graph
  TF_Status* status = TF_NewStatus();
  TF_ImportGraphDefOptions* graph_opts = TF_NewImportGraphDefOptions();
  TF_GraphImportGraphDef(graph, graph_def, graph_opts, status);
  if (TF_GetCode(status) != TF_OK) {
          fprintf(stderr, "ERROR: Unable to import graph %s", TF_Message(status));
          return 1;
  }
  else {
          fprintf(stdout, "Successfully imported graph\n");
  }

  // Configure input & provide dummy values
  const int num_bytes = 3 * sizeof(float);
  const int num_bytes_out = 9 * sizeof(int);
  int64_t dims[] = {3};
  int64_t out_dims[] = {9};

  float values[3] = {-1.04585315e+03,   1.25702492e+02,   1.11165466e+02};


  // Setup graph inputs
  std::vector<TF_Tensor*> input_values;
  TF_Operation* input_op = TF_GraphOperationByName(graph, "lstm_1_input");
  TF_Output inputs = {input_op, 0};
  TF_Tensor* input = TF_NewTensor(TF_FLOAT, dims, 1, &values, num_bytes, &Deallocator, 0);
  input_values.push_back(input);

  // Setup graph outputs
  TF_Operation* output_op = TF_GraphOperationByName(graph, "output_node0");
  TF_Output outputs = {output_op, 0};
  std::vector<TF_Tensor*> output_values(9, nullptr);

  // Run graph
  fprintf(stdout, "Running session...\n");
  TF_SessionOptions* sess_opts = TF_NewSessionOptions();
  TF_Session* session = TF_NewSession(graph, sess_opts, status);
  assert(TF_GetCode(status) == TF_OK);
  TF_SessionRun(session, nullptr,
                &inputs, &input_values[0], 3,
                &outputs, &output_values[0], 9,
                nullptr, 0, nullptr, status);

  fprintf(stdout, "Successfully run session\n");

  TF_CloseSession(session, status);
  TF_DeleteSession(session, status);
  TF_DeleteSessionOptions(sess_opts);
  TF_DeleteImportGraphDefOptions(graph_opts);
  TF_DeleteGraph(graph);
  TF_DeleteStatus(status);
  return 0;
}

TF_Buffer* read_file(const char* file) {
  FILE *f = fopen(file, "rb");
  fseek(f, 0, SEEK_END);
  long fsize = ftell(f);
  fseek(f, 0, SEEK_SET);

  void* data = malloc(fsize);
  fread(data, fsize, 1, f);
  fclose(f);

  TF_Buffer* buf = TF_NewBuffer();
  buf->data = data;
  buf->length = fsize;
  buf->data_deallocator = free_buffer;
  return buf;
}

我不确定 TF_SessionRun 到底哪里出错了，所以非常感谢任何帮助!

更新:我在 gdb 中的 TF_SessionRun 调用处设置了一个断点，当我单步执行它时，我首先得到:线程 1 收到信号 SIGSEGV，段错误。
0x0000000100097650 在 ?? ()其次是:“找不到当前函数的边界”我最初认为这是因为 TensorFlow 库未使用调试符号编译，但此后使用调试符号对其进行编译并在 gdb 中获得相同的输出。

自从我的原始帖子以来，我找到了一个 TensorFlow C 示例 here (但是作者指出它未经测试)。因此，我已经根据他们的示例重写了我的代码，并使用 TensorFlow 的 c_api.h 头文件仔细检查了所有内容。我现在还从 C++ 文件中调用 C API(正如上例中所做的那样)。尽管如此，我仍然从 gdb 获得相同的输出。

更新 2:为确保我的图形正确加载，我使用了 C API 中的一些 TF_Operation 函数(TF_GraphNextOperation() 和 TF_OperationName())来检查图形操作，并将这些与在 Python 中加载图形时的操作进行了比较。输出看起来是正确的，而且我可以从操作中检索属性(例如使用 TF_OperationNumOutputs())，所以看起来图表确实加载正确。

如果有使用 TensorFlow 的 C API 经验的人提供建议，我们将不胜感激。

Answer 1

在尝试 C api 中的函数并密切关注占位符的维度后，我设法解决了这个问题。我最初的段错误是由于将错误的操作名称字符串传递给 TF_GraphOperationByName() 而导致的，但是段错误只发生在 TF_SeesionRun() 处，因为这是它尝试的第一个地方访问该操作。对于面临相同问题的任何人，这是我解决问题的方法:

首先，检查您的操作以确保它们被正确分配。在我的例子中，由于在 Python 中获取操作名称时出错，我提供给 input_op 的操作名称不正确。我从 Python 获得的错误操作名称是“lstm_4_input”。通过使用 C API 在加载的图形上运行以下命令，我发现这是不正确的:

  n_ops = 700
  for (int i=0; i<n_ops; i++)
  {
    size_t pos = i;
    std::cout << "Input: " << TF_OperationName(TF_GraphNextOperation(graph, &pos)) << "\n";
  }

其中 n_ops 是图中的操作数。这将打印出您的操作名称；在这种情况下，我可以看到没有“lstm_4_input”，但有一个“lstm_1_input”，所以我相应地更改了值。此外，它验证了我的输出操作“output_node0”是正确的。

一旦我解决了段错误，还有一些其他问题变得清晰，所以这里是完整的工作代码，带有详细注释，供遇到类似问题的任何人使用:

#include "tensorflow/c/c_api.h"

#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include <string.h>
#include <assert.h>
#include <vector>
#include <algorithm>
#include <iterator>
#include <iostream>


TF_Buffer* read_file(const char* file);

void free_buffer(void* data, size_t length) {
        free(data);
}

static void Deallocator(void* data, size_t length, void* arg) {
        free(data);
        // *reinterpret_cast<bool*>(arg) = true;
}

int main() {
  // Use read_file to get graph_def as TF_Buffer*
  TF_Buffer* graph_def = read_file("tensorflow_model/constant_graph_weights.pb");
  TF_Graph* graph = TF_NewGraph();

  // Import graph_def into graph
  TF_Status* status = TF_NewStatus();
  TF_ImportGraphDefOptions* graph_opts = TF_NewImportGraphDefOptions();
  TF_GraphImportGraphDef(graph, graph_def, graph_opts, status);
  if (TF_GetCode(status) != TF_OK) {
          fprintf(stderr, "ERROR: Unable to import graph %s", TF_Message(status));
          return 1;
  }
  else {
          fprintf(stdout, "Successfully imported graph\n");
  }

  // Create variables to store the size of the input and output variables
  const int num_bytes_in = 3 * sizeof(float);
  const int num_bytes_out = 9 * sizeof(float);

  // Set input dimensions - this should match the dimensionality of the input in
  // the loaded graph, in this case it's three dimensional.
  int64_t in_dims[] = {1, 1, 3};
  int64_t out_dims[] = {1, 9};

  // ######################
  // Set up graph inputs
  // ######################

  // Create a variable containing your values, in this case the input is a
  // 3-dimensional float
  float values[3] = {-1.04585315e+03,   1.25702492e+02,   1.11165466e+02};

  // Create vectors to store graph input operations and input tensors
  std::vector<TF_Output> inputs;
  std::vector<TF_Tensor*> input_values;

  // Pass the graph and a string name of your input operation
  // (make sure the operation name is correct)
  TF_Operation* input_op = TF_GraphOperationByName(graph, "lstm_1_input");
  TF_Output input_opout = {input_op, 0};
  inputs.push_back(input_opout);

  // Create the input tensor using the dimension (in_dims) and size (num_bytes_in)
  // variables created earlier
  TF_Tensor* input = TF_NewTensor(TF_FLOAT, in_dims, 3, values, num_bytes_in, &Deallocator, 0);
  input_values.push_back(input);

  // Optionally, you can check that your input_op and input tensors are correct
  // by using some of the functions provided by the C API.
  std::cout << "Input op info: " << TF_OperationNumOutputs(input_op) << "\n";
  std::cout << "Input data info: " << TF_Dim(input, 0) << "\n";

  // ######################
  // Set up graph outputs (similar to setting up graph inputs)
  // ######################

  // Create vector to store graph output operations
  std::vector<TF_Output> outputs;
  TF_Operation* output_op = TF_GraphOperationByName(graph, "output_node0");
  TF_Output output_opout = {output_op, 0};
  outputs.push_back(output_opout);

  // Create TF_Tensor* vector
  std::vector<TF_Tensor*> output_values(outputs.size(), nullptr);

  // Similar to creating the input tensor, however here we don't yet have the
  // output values, so we use TF_AllocateTensor()
  TF_Tensor* output_value = TF_AllocateTensor(TF_FLOAT, out_dims, 2, num_bytes_out);
  output_values.push_back(output_value);

  // As with inputs, check the values for the output operation and output tensor
  std::cout << "Output: " << TF_OperationName(output_op) << "\n";
  std::cout << "Output info: " << TF_Dim(output_value, 0) << "\n";

  // ######################
  // Run graph
  // ######################
  fprintf(stdout, "Running session...\n");
  TF_SessionOptions* sess_opts = TF_NewSessionOptions();
  TF_Session* session = TF_NewSession(graph, sess_opts, status);
  assert(TF_GetCode(status) == TF_OK);

  // Call TF_SessionRun
  TF_SessionRun(session, nullptr,
                &inputs[0], &input_values[0], inputs.size(),
                &outputs[0], &output_values[0], outputs.size(),
                nullptr, 0, nullptr, status);

  // Assign the values from the output tensor to a variable and iterate over them
  float* out_vals = static_cast<float*>(TF_TensorData(output_values[0]));
  for (int i = 0; i < 9; ++i)
  {
      std::cout << "Output values info: " << *out_vals++ << "\n";
  }

  fprintf(stdout, "Successfully run session\n");

  // Delete variables
  TF_CloseSession(session, status);
  TF_DeleteSession(session, status);
  TF_DeleteSessionOptions(sess_opts);
  TF_DeleteImportGraphDefOptions(graph_opts);
  TF_DeleteGraph(graph);
  TF_DeleteStatus(status);
  return 0;
}

TF_Buffer* read_file(const char* file) {
  FILE *f = fopen(file, "rb");
  fseek(f, 0, SEEK_END);
  long fsize = ftell(f);
  fseek(f, 0, SEEK_SET);  //same as rewind(f);

  void* data = malloc(fsize);
  fread(data, fsize, 1, f);
  fclose(f);

  TF_Buffer* buf = TF_NewBuffer();
  buf->data = data;
  buf->length = fsize;
  buf->data_deallocator = free_buffer;
  return buf;
}

注意:在我之前的尝试中，我使用“3”和“9”作为 的 ninputs 和 noutputs 参数TF_SessionRun()，认为这些与我的输入和输出张量的长度有关(我将 3 维特征分类为 9 个类之一)。事实上，这些只是输入/输出张量的数量，因为张量的维数在它们被实例化时会提前处理。在这里使用 .size() 成员函数很容易(当使用 std::vector 来保存 TF_Output 时)。

希望这是有道理的，并有助于为将来发现自己处于类似情况的任何人理清流程!