我找到了 examples/image_ocr.py这似乎适用于 OCR。因此，应该可以给模型一个图像并接收文本。但是，我不知道该怎么做。如何为模型提供新图像？需要哪种预处理？

我做了什么

安装依赖:

• 安装 cairocffi : sudo apt-get install python-cairocffi
• 安装editdistance:sudo -H pip install editdistance
• 更改 train 以返回模型并保存训练好的模型。
• 运行脚本来训练模型。

现在我有一个 model.h5。下一步是什么？

见 https://github.com/MartinThoma/algorithms/tree/master/ML/ocr/keras对于我当前的代码。我知道如何加载模型(见下文)，这似乎有效。问题是我不知道如何将带有文本的图像的新扫描提供给模型。

相关问题

• 什么是 CTC？ Connectionist Temporal Classification ?
• 是否有可靠检测文档旋转的算法？
• 是否有算法可以可靠地检测行/文本 block /表格/图像(从而进行合理的分割)？我猜边缘检测与平滑和逐行直方图的效果已经相当不错了？

我尝试了什么

#!/usr/bin/env python

from keras import backend as K
import keras
from keras.models import load_model
import os

from image_ocr import ctc_lambda_func, create_model, TextImageGenerator
from keras.layers import Lambda
from keras.utils.data_utils import get_file
import scipy.ndimage
import numpy

img_h = 64
img_w = 512
pool_size = 2
words_per_epoch = 16000
val_split = 0.2
val_words = int(words_per_epoch * (val_split))
if K.image_data_format() == 'channels_first':
    input_shape = (1, img_w, img_h)
else:
    input_shape = (img_w, img_h, 1)

fdir = os.path.dirname(get_file('wordlists.tgz',
                                origin='http://www.mythic-ai.com/datasets/wordlists.tgz', untar=True))

img_gen = TextImageGenerator(monogram_file=os.path.join(fdir, 'wordlist_mono_clean.txt'),
                             bigram_file=os.path.join(fdir, 'wordlist_bi_clean.txt'),
                             minibatch_size=32,
                             img_w=img_w,
                             img_h=img_h,
                             downsample_factor=(pool_size ** 2),
                             val_split=words_per_epoch - val_words
                             )
print("Input shape: {}".format(input_shape))
model, _, _ = create_model(input_shape, img_gen, pool_size, img_w, img_h)

model.load_weights("my_model.h5")

x = scipy.ndimage.imread('example.png', mode='L').transpose()
x = x.reshape(x.shape + (1,))

# Does not work
print(model.predict(x))

这给了

2017-07-05 22:07:58.695665: I tensorflow/core/common_runtime/gpu/gpu_device.cc:996] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN Black, pci bus id: 0000:01:00.0)
Traceback (most recent call last):
  File "eval_example.py", line 45, in <module>
    print(model.predict(x))
  File "/usr/local/lib/python2.7/dist-packages/keras/engine/training.py", line 1567, in predict
    check_batch_axis=False)
  File "/usr/local/lib/python2.7/dist-packages/keras/engine/training.py", line 106, in _standardize_input_data
    'Found: array with shape ' + str(data.shape))
ValueError: The model expects 4 arrays, but only received one array. Found: array with shape (512, 64, 1)

最佳答案

好吧，我会尽力回答你在这里提出的所有问题:

正如 OCR 代码中所述，Keras 不支持具有多个参数的损失，因此它计算了 lambda 层中的 NN 损失。在这种情况下，这意味着什么？

神经网络可能看起来很困惑，因为它使用 4 个输入([input_data, labels, input_length, label_length])和 loss_out 作为输出。除了 input_data 之外，其他的都是只用于计算损失的信息，也就是说它只用于训练。我们想要原始代码第 468 行中的内容:

Model(inputs=input_data, outputs=y_pred).summary()

意思是“我有一个图像作为输入，请告诉我这里写了什么”。那么如何实现呢？

1) 保持原训练代码不变，正常进行训练；

2) 训练后，将此模型 Model(inputs=input_data, outputs=y_pred)保存在 .h5 文件中，以便加载到任何你想要的地方；

3) 做预测:如果你看一下代码，输入图像是反转和翻译的，所以你可以使用这段代码让它变得简单:

from scipy.misc import imread, imresize
#use width and height from your neural network here.

def load_for_nn(img_file):
    image = imread(img_file, flatten=True)
    image = imresize(image,(height, width))
    image = image.T

    images = np.ones((1,width,height)) #change 1 to any number of images you want to predict, here I just want to predict one
    images[0] = image
    images = images[:,:,:,np.newaxis]
    images /= 255

    return images

加载图片后，让我们进行预测:

def predict_image(image_path): #insert the path of your image 
    image = load_for_nn(image_path) #load from the snippet code
    raw_word = model.predict(image) #do the prediction with the neural network
    final_word = decode_output(raw_word)[0] #the output of our neural network is only numbers. Use decode_output from image_ocr.py to get the desirable string.
    return final_word

这应该足够了。根据我的经验，训练中使用的图像不足以做出良好的预测，如有必要，我将使用其他数据集发布代码以改进我的结果。

回答相关问题:

• 什么是 CTC？ Connectionist Temporal Classification ?

这是一种用于改进序列分类的技术。原始论文证明它改善了发现音频中所说内容的结果。在这种情况下，它是一个字符序列。解释有点技巧，但你可以找到一个好的 here.

• 是否有可靠检测文档旋转的算法？

我不确定，但你可以看看神经网络中的注意力机制。我现在没有任何好的链接，但我知道可能是这种情况。

• 是否有算法可以可靠地检测行/文本 block /表格/图像(从而进行合理的分割)？我猜边缘检测与平滑和逐行直方图的效果已经相当不错了？

OpenCV 实现了最大稳定极值区域(称为 MSER)。我真的很喜欢这个算法的结果，它很快并且在我需要的时候对我来说已经足够好了。

正如我之前所说，我会尽快发布代码。当我这样做时，我将使用存储库编辑问题，但我相信这里的信息足以让示例运行。

关于python - 如何使用 Keras OCR 示例？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44847446/