python - Keras 中的输入和输出维度错误

Question

我目前正在研究一个二元分类的流失管理问题。

我在拟合模型时遇到错误。输入/输出中似乎有一些我没能捕捉到的东西正在抛出它。

这是代码(df 包含我从中创建向量的数据框):

#Delete unimportant columns.
del df['RowNumber']
del df['CustomerId']
del df['Surname']

然后，我必须转换两个分类变量:

#Converting and creating dummy variables for categorical variables
df["Gender"] = df["Gender"].astype('category')
df["Geography"] = df["Geography"].astype('category')
df['Gender'] = pd.get_dummies(df['Gender'])
df['Geography'] = pd.get_dummies(df['Geography'])

y = df.iloc[:, -1] #Label variable
X = df.iloc[:, :10] #Features

将数据集拆分为测试和训练:

# Splitting the dataset into the Training set and Test set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)

接下来，我正在缩放变量:

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train) 
X_test = sc.transform(X_test)
print(X_train.shape) #(8000, 10)
print(X_test.shape) #(2000, 10)
print(y_train.shape)#(8000,)
print(y_test.shape)#(2000,)

建立网络:

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(8000,)))
model.add(layers.Dense(1, activation='sigmoid'))
# Compiling Neural Network
model.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])
#Fitting our model
model.fit(X_train, y_train, batch_size = 10, epochs = 10)

# Predicting the Test set results
y_pred = classifier.predict(X_test)
y_pred = (y_pred > 0.5)

# Creating the Confusion Matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)

我得到的具体错误代码是:

ValueError:检查输入时出错:预期 dense_47_input 的形状为 (None, 8) 但得到的数组形状为 (8000, 10)

解决这个问题的任何帮助都会很棒!

编辑:model.compile 之前的模型摘要:

Edit2:编译后的模型总结:

Answer 1

我认为你需要更正这个:

model.add(layers.Dense(32, activation='relu', input_shape=(10,)))

10 是您使用的功能数量。 Keras 将自动获取批处理/数据集中的行数。

编辑说明:

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, input_shape=(10,)))
model.add(layers.Dense(1))

在这里，创建的第一层仅接受维数为 10 的二维张量(第零维，批处理维数未指定，因此可以接受任何值)。

因此，该层只能连接到期望 32 维向量作为其输入的上游。使用 Keras 时，您不必担心兼容性问题，因为您添加到模型中的层是动态构建的，以匹配传入层的形状。

第二层没有收到输入形状参数——而是自动将其输入形状推断为前一层的输出形状。

解码模型中的参数值:

假设这是我的模型:

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, input_shape=(2,)))
model.add(layers.Dense(1))
model.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])
print model.summary()

这是模型摘要:

_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense_1 (Dense)              (None, 32)                96
_________________________________________________________________
dense_2 (Dense)              (None, 1)                 33
=================================================================
Total params: 129
Trainable params: 129
Non-trainable params: 0
_________________________________________________________________

对于 Dense Layer，我们需要这样计算:

output = dot(W, input) + b

或

output = relu(dot(W, input) + b) #relu here is the activation function

在此表达式中，W 和 b 是作为层属性的张量。它们被称为层的“权重”或“可训练参数”(分别为内核和偏置属性)。这些权重包含网络从暴露于训练数据中学到的信息。

对于第 1 层(参数 = 96)= Hidden_​​units * Dimension_of_input_data + bias_value

96 = 32 (Hidden Units) * 2 (Data Dimension) + 32 (Bias Value Same as Hidden Units)

对于第 2 层(参数=33)= Hidden_​​units * Dimension_of_data + bias_value

33 = 1 (Hidden Units) * 32 (Data Dimension) + 1 (Bias Value Same as Hidden Units)

Total Params = 96+33 = 129

希望这有帮助:)

解释来源:Keras Documentation