我正在尝试使用 OpenCV 在 C++ 中创建一个神经网络。目的是识别路标。我以这种方式创建了网络，但它的预测很糟糕，因为它返回了奇怪的结果:

来自训练选择的示例图像如下所示:

有人可以帮忙吗？

  trainNN() {
    char* templates_directory[] = {
        "speed50ver1\\", 
        "speed60ver1\\", 
        "speed70ver1\\",
        "speed80ver1\\"
    };

    int const numFilesChars[]={ 213, 100, 385, 163};

    char const strCharacters[] = { '5', '6', '7', '8' };

    Mat trainingData; 
    Mat trainingLabels(0, 0, CV_32S);

    int const numCharacters = 4;  

    // load images from directory
    for (int i = 0; i != numCharacters; ++i) {
        int numFiles = numFilesChars[i];

        DIR *dir;
        struct dirent *ent;

        char* s1 = templates_directory[i];

        if ((dir = opendir (s1)) != NULL) {
            Size size(80, 80);

            while ((ent = readdir (dir)) != NULL) {
                string s = s1;
                s.append(ent->d_name);

                if(s.substr(s.find_last_of(".") + 1) == "jpg") {
                    Mat img = imread(s,0);
                    Mat img_mat;
                    resize(img, img_mat, size);
                    Mat new_img = img_mat.reshape(1, 1);
                    trainingData.push_back(new_img);
                    trainingLabels.push_back(i);

                }

            }
            int b = 0;
            closedir (dir);
        } else {
            /* could not open directory */
            perror ("");
        }
    }

    trainingData.convertTo(trainingData, CV_32FC1);

    Mat trainClasses(trainingData.rows, numCharacters, CV_32FC1);
    for( int i = 0; i !=  trainClasses.rows; ++i){
        int const labels = *trainingLabels.ptr<int>(i);
        auto train_ptr = trainClasses.ptr<float>(i);
        for(int k = 0; k != trainClasses.cols; ++k){
            *train_ptr = k != labels ? 0 : 1;
            ++train_ptr;
        }
    }

    int layers_d[] = { trainingData.cols, 10,  numCharacters};
    Mat layers(1, 3, CV_32SC1, layers_d);
    ann.create(layers, CvANN_MLP::SIGMOID_SYM, 1, 1);

    CvANN_MLP_TrainParams params = CvANN_MLP_TrainParams(
        // terminate the training after either 1000
        // iterations or a very small change in the
        // network wieghts below the specified value
        cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, 0.000001),

        // use backpropogation for training
        CvANN_MLP_TrainParams::BACKPROP,

        // co-efficents for backpropogation training
        // (refer to manual)
        0.1,
        0.1);

    int iterations = ann.train(trainingData, trainClasses, cv::Mat(), cv::Mat(), params);

    CvFileStorage* storage = cvOpenFileStorage( "neural_network_2.xml", 0, CV_STORAGE_WRITE );
    ann.write(storage,"digit_recognition");
    cvReleaseFileStorage(&storage);

}  


void analysis(char* file, bool a) {
    //trainNN(a);
    read_nn();


    // load image
    Mat img = imread(file,  0);

    Size my_size(80,80);
    resize(img, img, my_size);

    Mat r_img = img.reshape(1,1);

    r_img.convertTo(r_img, CV_32FC1);   

    Mat classOut(1,4,CV_32FC1); 

    ann.predict(r_img, classOut);

    double min1, max1;
    cv::Point min_loc, max_loc;
    minMaxLoc(classOut, &min1, &max1, &min_loc, &max_loc);
    int x = max_loc.x;


    //create windows
    namedWindow("Original Image", CV_WINDOW_AUTOSIZE);
    imshow("Original Image", img);

    waitKey(0); //wait for key press

    img.release();
    rr.release();

    destroyAllWindows(); //destroy all open windows
}

奇怪的结果:对于这个输入答案是 3(因为我只有 4 个类(class) - 限速 50、60、70、80)。限速 80 标志是正确的。

但其余输入结果不正确。对于符号 50、60、70，它们是相同的。max1 = min1 = 1.02631...(如第一张图片所示)这很奇怪。

最佳答案

我已经调整了您的代码来训练 4 个手部位置的分类器(因为这是我拥有的图像数据)。我尽可能保持你的逻辑相似，只改变绝对必要的东西，让它在我的 Windows 机器上运行在我的图像上。长话短说，您的代码没有根本性的错误 - 我没有看到您描述的故障模式。

您遗漏的一件事是 read_nn() 的代码。我假设只是做了类似下面的事情: ann.load("neural_network_2.xml");

无论如何，我怀疑您的神经网络根本没有收敛，或者严重过度拟合。也许训练数据中没有足够的变化。您是否在 ANN 未受过训练的单独测试数据上运行 analysis()？如果是这样，ANN 是否至少能够正确预测训练数据？

编辑:好的，我刚刚下载了您的图像数据并进行了试用，发现了相同的行为。经过一些分析，您的 ANN 似乎没有收敛。训练操作仅在大约 250 次迭代后退出，即使您只为 cvTermCriteria 指定 CV_TERMCRIT_ITER。将隐藏层大小从 10 增加到 20 后，我看到了显着的改进，成功地将 212、72、94 和 143 图像的训练数据分类为类(50、60、70 和 80) .这不是很好，但它表明您走在正确的轨道上。

基本上，网络架构的表现力不足以充分模拟您要解决的问题，因此网络权重永远不会收敛，并且会提前放弃反向传播。对于一个类，您可能会看到一些成功，但我认为这主要是由于缺乏对训练数据的改组。如果它在刚刚对几百张非常相似的图像进行训练后就停止了，它或许能够设法对这些图像进行正确分类。

简而言之，我建议您执行以下操作:

1. 建立一种方法来测试结果 - 例如:创建一个函数来对所有训练数据运行预测，最好预留一些图像作为验证集，以确认模型没有过度拟合训练数据。
2. 在训练之前打乱训练数据。否则，反向传播将不会那么容易地收敛。
3. 试验不同的架构，例如多个不同大小的隐藏层。

确实，这是一个可以从使用卷积神经网络中获益匪浅的问题，但 OpenCV 的机器学习设施非常有限。最后，如果您真的想创建 ANN，您可能想要研究一些更强大的工具。我个人使用 Tensorflow，但我也听说过关于 Theano 的好消息。

关于c++ - opencv神经网络，不正确的预测，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36487234/