我正在尝试对 MNIST 数据库执行常规分类，但使用随机裁剪的数字。 图像按以下方式裁剪:随机删除第一个/最后一个和/或行/列。

我想使用一个使用 Keras(和 Tensorflow 后端)的卷积神经网络来执行卷积，然后进行通常的分类。

输入的大小可变，我无法让它工作。

这是我如何裁剪数字

import numpy as np
from keras.utils import to_categorical
from sklearn.datasets import load_digits

digits = load_digits()

X = digits.images
X = np.expand_dims(X, axis=3)

X_crop = list()
for index in range(len(X)):
    X_crop.append(X[index, np.random.randint(0,2):np.random.randint(7,9), np.random.randint(0,2):np.random.randint(7,9), :])
X_crop = np.array(X_crop)

y = to_categorical(digits.target)

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X_crop, y, train_size=0.8, test_size=0.2)

这是我要使用的模型的架构

from keras.layers import Dense, Dropout
from keras.layers.convolutional import Conv2D
from keras.models import Sequential

model = Sequential()

model.add(Conv2D(filters=10, 
                 kernel_size=(3,3), 
                 input_shape=(None, None, 1), 
                 data_format='channels_last'))

model.add(Dense(128, activation='relu'))
model.add(Dropout(0.2))

model.add(Dense(10, activation='softmax'))


model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])

model.summary()

model.fit(X_train, y_train, epochs=100, batch_size=16, validation_data=(X_test, y_test))

1. 有人知道如何在我的神经网络中处理可变大小的输入吗？

2. 如何进行分类？

最佳答案

TL/DR - 转到第 4 点

所以 - 在进入正题之前 - 让我们解决一些网络问题:

1. 您的网络将因激活而无法工作:对于 categorical_crossentropy，您需要进行 softmax 激活:

   model.add(Dense(10, activation='softmax'))
   

2. 向量化空间张量:正如 Daniel 提到的那样 - 您需要在某个阶段将向量从空间(图像)切换到向量化(向量)。目前 - 将 Dense 应用于 Conv2D 的输出等同于 (1, 1) 卷积。所以基本上 - 网络的输出是空间的 - 不是矢量化导致维度不匹配的原因(您可以通过运行网络或检查 model.summary() 来检查。为了改变你需要使用GlobalMaxPooling2D 或 GlobalAveragePooling2D 。例如:

   model.add(Conv2D(filters=10, 
                kernel_size=(3, 3), 
                input_shape=(None, None, 1),
                padding="same",
                data_format='channels_last'))
   model.add(GlobalMaxPooling2D())
   model.add(Dense(128, activation='relu'))
   model.add(Dropout(0.2))
   
   model.add(Dense(10, activation='softmax'))
   

3. 串联的​​ numpy 数组需要具有相同的形状:如果您检查 X_crop 的形状，您会发现它是不是空间矩阵。这是因为您连接了不同形状的矩阵。遗憾的是 - 由于 numpy.array 需要具有固定形状，因此无法克服此问题。

4. 如何让你的网络在不同形状的例子上进行训练:这样做最重要的是要理解两件事。首先 - 在单个批处理中，每个图像都应该具有相同的大小。其次 - 多次调用 fit 是个坏主意 - 因为您重置内部模型状态。所以这里是需要做的事情:

   一个。编写一个裁剪单批处理的函数 - 例如给定矩阵的 get_cropped_batches_generator 从中切出一批并随机裁剪。

   使用 train_on_batch方法。这是一个示例代码:

   from six import next
   
   batches_generator = get_cropped_batches_generator(X, batch_size=16)
   losses = list()
   for epoch_nb in range(nb_of_epochs):
       epoch_losses = list()
       for batch_nb in range(nb_of_batches):
           # cropped_x has a different shape for different batches (in general)
           cropped_x, cropped_y = next(batches_generator) 
           current_loss = model.train_on_batch(cropped_x, cropped_y)
           epoch_losses.append(current_loss)
       losses.append(epoch_losses.sum() / (1.0 * len(epoch_losses))
   final_loss = losses.sum() / (1.0 * len(losses))
   

所以 - 对上面代码的一些评论:首先，train_on_batch不使用漂亮的 keras 进度条。它返回单个损失值(对于给定的批处理)——这就是我添加逻辑来计算损失的原因。你可以使用 Progbar回调也。其次 - 您需要实现 get_cropped_batches_generator - 我还没有编写代码来让我的答案更清楚一点。你可以问另一个关于如何实现它的问题。最后一件事 - 我使用 six 来保持 Python 2 和 Python 3 之间的兼容性。

关于python - 如何使用 Keras 处理 CNN 中可变大小的输入？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46204569/