r - 列名称-xgboost预测新数据

Question

我从未生产过xgboost模型，并且担心如何在xgboost模型中处理新的数据预测。特别是当列名与训练的模型不匹配时，稀疏矩阵列名-是由于在将新数据转换为稀疏矩阵时添加了新列或删除了某些列。

如果我尝试使用多余或缺少某些列名的新数据预测xgboost模型，该怎么办？我认为这肯定会发生，因此我想创建代码来解决这个问题，以便预测正确。如果已有更优雅的解决方案，我宁愿避免一起破解一个解决方案。

因此，特别是如果新数据稀疏矩阵具有不同的列名，那又如何呢？

我最好的猜测是分解（基于经过训练的数据水平的水平）>创建稀疏矩阵>然后删除不匹配的列（在经过训练的数据集和新数据之间）。

我创建了虚拟数据（在下面的代码中）作为给定不同列名的预测错误的示例。

第一步=构建模型（仅出于说明目的，我知道这是一个糟糕的构建）

第二步=重新采样整个数据集，然后进行预测（=没问题。预测匹配）

第三步=仅从10％的数据中进行选择然后进行预测-由于列名不同，这会导致预测错误。

这是代码：

第1步创建虚拟数据并创建一个惰性xgboost模型，仅用于说明目的。

library(xgboost) # for xgboost algo
library(Matrix) # for sparse matrix

### Create dummy data
num_rows <- 100

set.seed(1234)

target <- runif(num_rows)

dummy_data <- data.frame(
LETTER_SINGLE=sample(LETTERS,num_rows,replace=TRUE),
DOUBLE_LETTER=paste(sample(LETTERS,num_rows,replace=TRUE),sample(LETTERS,num_rows,replace=TRUE),sep=""),
TRIPLE_LETTER=paste(sample(LETTERS,num_rows,replace=TRUE),sample(LETTERS,num_rows,replace=TRUE),sample(LETTERS,num_rows,replace=TRUE),sep=""),
stringsAsFactors=FALSE
)


## STEP 1 CREATE XGBOOST MODEL AND GET PREDICTED VALUES TO COMPARE WITH FUTURE DATA CUTS.
model_data_01 <- dummy_data
target_01 <- target
# create matrix
model_01_sparse <- sparse.model.matrix(~ .-1, data = model_data_01) 

# colnames model 1
colnames_trained_model <- colnames(model_01_sparse)

# train a model
xgb_fit_01 <- 
xgboost(data = model_01_sparse,
label = target_01,
#param = best_param,
nrounds=100,
verbose = T
)

pred_01 <- predict(xgb_fit_01,newdata=model_01_sparse)

步骤2.测试以观察顺序是否导致预测差异。剧透-没有发生预测错误。

## STEP 2 CREATE SHUFFLED DATA (SAME DATA SAMPLES BUT SHUFFLED) THEN PREDICT AND COMPARE.
sample_order <- sample(1:num_rows)

model_data_shuffled <- dummy_data[sample_order,]
target_shuffled <- target[sample_order]

# They are different
head(model_data_01)
head(model_data_shuffled)

# create matrix
model_shuffled_sparse <- sparse.model.matrix(~ .-1, data = model_data_shuffled) 

# colnames model 1
colnames_shuffled <- colnames(model_shuffled_sparse)

pred_shuffled <- predict(xgb_fit_01,newdata=model_shuffled_sparse)

# check if predictions differ
pred_01[sample_order] - pred_shuffled
## This matched. Yay. sparse.model.matrix function must first sort alphabetically then create column names.
# due to same column names
mean(colnames_trained_model == colnames_shuffled)

步骤3.仅对选定的几行进行采样，然后进行预测，以查看稀疏矩阵中的缺失列是否会导致预测错误。

## STEP 2 WORKED FINE SO ONTO...
## STEP 3 RANDOMLY SAMPLE ONLY A HANDFUL OF ROWS PREDICT AND COMPARE.
sample_order_02 <- sample(1:(num_rows*0.1))

model_data_shuffled_02 <- dummy_data[sample_order_02,]
target_shuffled_02 <- target[sample_order_02]
# create matrix
model_shuffled_sparse_02 <- sparse.model.matrix(~ .-1, data = model_data_shuffled_02)   

# colnames model 1
colnames_shuffled_02 <- colnames(model_shuffled_sparse_02)

pred_shuffled_02 <- predict(xgb_fit_01,newdata=model_shuffled_sparse_02)

# check if predictions differ
pred_01[sample_order_02] - pred_shuffled_02
## This did not matched. Damn.

# Due to different column names
colnames_trained_model
colnames_shuffled_02

mean(colnames_trained_model == colnames_shuffled_02)

如您所见，这最后一次尝试仅是由于备用矩阵中缺少列名而导致预测值出现差异。
如果有一个优雅的解决方案可供我学习，我不想一起破解一个丑陋的解决方案。
所以我的问题是...是否有一种优雅的方法来强制稀疏模型矩阵列名称与已构建模型的名称相匹配（用于对新数据进行预测的模型）？

我已经在网上搜索过，到目前为止没有找到任何最佳实践解决方案的运气。

如果有人可以通过回答问题或向正确的方向指出我的帮助，将不胜感激。

Answer 1

您的生产环境是什么？ R，Python，Java还是其他？

这个想法是通过生产环境特定的包装器库而不是直接使用XGBoost功能（训练和预测）。例如，在Python中，您可以使用Scikit-Learn wrappers，它将功能工程和-selection任务封装到可重用的sklearn.pipeline.Pipeline对象中。您将在开发环境中1）fit管道对象（其中XGBoost估计器是最终任务）并将其序列化为pickle文件，2）将pickle文件从开发环境移至生产环境，并3）将其反序列化从pickle文件中提取，并用于生产环境中的transforming新数据。这是一个高级API，可以完全抽象出低级详细信息，例如XGBoost“内部”数据矩阵的布局。

对于独立于平台的解决方案，您可以在标准化的PMML representation中导出XGBoost模型（以及相关的数据预处理逻辑）。