我正在尝试使用 TensorFlow 的 C++ API 在 iOS 上运行我的模型。型号是SavedModel保存为 .pb文件。但是，请调用 Session::Run()导致错误:

"Invalid argument: Session was not created with a graph before Run()!"

with tf.Session() as sess:
    tf.saved_model.loader.load(sess, ['serve'], '/path/to/model/export')
    result = sess.run(['OutputTensorA:0', 'OutputTensorB:0'], feed_dict={
        'InputTensorA:0': np.array([5000.00] * 1000).reshape(1, 1000),
        'InputTensorB:0': np.array([300.00] * 1000).reshape(1, 1000)
    })
    print(result[0])
    print(result[1])

tensorflow::Input::Initializer input_a(5000.00, tensorflow::TensorShape({1, 1000}));
tensorflow::Input::Initializer input_b(300.00, tensorflow::TensorShape({1, 1000}));

tensorflow::Session* session_pointer = nullptr;

tensorflow::SessionOptions options;
tensorflow::Status session_status = tensorflow::NewSession(options, &session_pointer);

std::cout << session_status.ToString() << std::endl; // prints OK

std::unique_ptr<tensorflow::Session> session(session_pointer);

tensorflow::GraphDef model_graph;

NSString* model_path = FilePathForResourceName(@"saved_model", @"pb");
PortableReadFileToProto([model_path UTF8String], &model_graph);

tensorflow::Status session_init = session->Create(model_graph);

std::cout << session_init.ToString() << std::endl; // prints OK

std::vector<tensorflow::Tensor> outputs;
tensorflow::Status session_run = session->Run({{"InputTensorA:0", input_a.tensor}, {"InputTensorB:0", input_b.tensor}}, {"OutputTensorA:0", "OutputTensorB:0"}, {}, &outputs);

std::cout << session_run.ToString() << std::endl; // Invalid argument: Session was not created with a graph before Run()!

最佳答案

这里的主要问题是您将图形导出到 SavedModel 在 Python 中，然后将其作为 GraphDef 读入在 C++ 中。虽然两者都有 .pb扩展和相似，它们不等价。

正在发生的事情是您正在阅读 SavedModel与 PortableReadFileToProto()它失败了，留下一个空指针( model_graph )到 GraphDef目的。所以在执行 PortableReadFileToProto() 之后, model_graph仍然是空的，但有效，GraphDef ，这就是为什么错误说 Session 不是在 Run() 之前用图形创建的。 session->Create()成功是因为您成功地创建了一个带有空图的 session 。

检查是否PortableReadFileToProto()的方法失败是检查其返回值。它返回一个 bool 值，如果读取图形失败，它将为 0。如果您想在此处获得描述性错误，请使用 ReadBinaryProto() .判断读取图形是否失败的另一种方法是检查 model_graph.node_size() 的值。 .如果这是 0，那么您有一个空图并且读取它失败。

虽然您可以使用 TensorFlow 的 C API 在 SavedModel 上执行推理通过使用 TF_LoadSessionFromSavedModel() 和 TF_SessionRun() ，推荐的方法是使用 freeze_graph.py 将图形导出到卡住模型。或写信给 GraphDef使用 tf.train.write_graph() .我将演示使用 tf.train.write_graph() 导出的模型的成功推理:

在 Python 中:

# Build graph, call it g
g = tf.Graph()

with g.as_default():
    input_tensor_a = tf.placeholder(dtype=tf.int32, name="InputTensorA")
    input_tensor_b = tf.placeholder(dtype=tf.int32, name="InputTensorB")
    output_tensor_a = tf.stack([input_tensor_a], name="OutputTensorA")
    output_tensor_b = tf.stack([input_tensor_b], name="OutputTensorB")

# Save graph g
with tf.Session(graph=g) as sess:
    sess.run(tf.global_variables_initializer())
    tf.train.write_graph(
        graph_or_graph_def=sess.graph_def,
        logdir='/path/to/export',
        name='saved_model.pb',
        as_text=False
    )

using namespace tensorflow;
using namespace std;

NSMutableArray* predictions = [NSMutableArray array];

Input::Initializer input_tensor_a(1, TensorShape({1}));
Input::Initializer input_tensor_b(2, TensorShape({1}));

SessionOptions options;
Session* session_pointer = nullptr;
Status session_status = NewSession(options, &session_pointer);
unique_ptr<Session> session(session_pointer);

GraphDef model_graph;
string model_path = string([FilePathForResourceName(@"saved_model", @"pb") UTF8String]);

Status load_graph = ReadBinaryProto(Env::Default(), model_path, &model_graph);

Status session_init = session->Create(model_graph);

cout << "Session creation Status: " << session_init.ToString() << endl;
cout << "Number of nodes in model_graph: " << model_graph.node_size() << endl;
cout << "Load graph Status: " << load_graph.ToString() << endl;

vector<pair<string, Tensor>> feed_dict = {
    {"InputTensorA:0", input_tensor_a.tensor},
    {"InputTensorB:0", input_tensor_b.tensor}
};

vector<Tensor> outputs;
Status session_run = session->Run(feed_dict, {"OutputTensorA:0", "OutputTensorB:0"}, {}, &outputs);

[predictions addObject:outputs[0].scalar<int>()];
[predictions addObject:outputs[1].scalar<int>()];

Status session_close = session->Close();

关于c++ - iOS : "Invalid argument: Session was not created with a graph before Run()!" 上的 TensorFlow C++ 推理错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46201109/