python - 如何使用 scikit 的 Surprise 进行预测？

Question

我无法理解 Surprise 的工作流程。我有一个用于训练的文件(我试图将其分为训练和验证)和一个用于测试数据的文件。我无法理解 Surprise Dataset 和 Trainset 之间的区别

# Import data
data_dir = 'DIRECTORY_NAME'
reader = Reader(rating_scale=(1, 5))

# Create pandas dataframes
train_valid_df = pd.read_csv(os.path.join(data_dir, 'TRAINING_FILENAME.csv'))
train_df, valid_df = train_test_split(train_valid_df, test_size=0.2)
test_df = pd.read_csv(os.path.join(data_dir, 'TEST_FILENAME.csv'))

# Create surprise Dataset objects
train_valid_Dataset = Dataset.load_from_df(train_valid_df[['user_id', 'item_id', 'rating']], reader)
train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)
test_Dataset = Dataset.load_from_df(test_df[['user_id', 'item_id', 'rating']], reader)

# Create surprise Trainset object (and testset object?)
train_Trainset = train_data.build_full_trainset()
valid_Testset = trainset.build_anti_testset()

然后，我创建我的预测器:

algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})

现在，如果我想交叉验证我会做

cross_v = cross_validate(algo, all_data, measures=['mae'], cv=10, verbose=True)

哪个训练模型(？)，但如果我想使用固定的验证集，我该怎么办？这个:？

algo.fit(train_Trainset)

这样做之后，我试图得到一些预测:

predictions = algo.test(valid_Testset)
print(predictions[0])

结果是这样的 但是当我尝试使用项目和用户 ID 号码进行预测时，它说这样的预测是不可能的:

print(algo.predict('13', '194'))
print(algo.predict('260', '338'))
print(algo.predict('924', '559'))

产量:

第一个用户/项目对来自训练反集，第二个来自验证集，第三个来自训练集。我不知道为什么会这样，而且我发现文档有时令人困惑。同样，许多在线教程似乎都在训练 pandas 数据帧，我因此收到了错误。任何人都可以澄清 surprise 的工作流程实际上是什么样的吗？我如何在测试集上进行训练然后做出预测？

谢谢!

Answer 1

希望这会有所帮助，因为您有单独的训练和测试，我们创建了与您的数据类似的东西:

from surprise import Dataset, KNNBaseline, Reader
import pandas as pd
import numpy as np
from surprise.model_selection import cross_validate
reader = Reader(rating_scale=(1, 5))

train_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
                         'item_id':np.random.choice(['101','102','103','104'],100),
                         'rating':np.random.uniform(1,5,100)})

valid_df = pd.DataFrame({'user_id':np.random.choice(['1','2','3','4'],100),
                         'item_id':np.random.choice(['101','102','103','104'],100),
                         'rating':np.random.uniform(1,5,100)})

然后我们需要将训练数据转换为 surprise.trainset ，类似于您所做的:

train_Dataset = Dataset.load_from_df(train_df[['user_id', 'item_id', 'rating']], reader)
valid_Dataset = Dataset.load_from_df(valid_df[['user_id', 'item_id', 'rating']], reader)

train_Dataset = train_Dataset.build_full_trainset()

对于拟合，您只需要 train_Dataset，对于交叉验证，我不确定您要做什么，我发现它超出了预测的问题范围，所以我们拟合:

algo = KNNBaseline(k=60, min_k=2, sim_options={'name': 'msd', 'user_based': True})
algo.fit(train_Dataset)

要进行预测，您需要以列表或数组的形式提供输入，其形状与您的输入相同，因此例如，如果我们要提供测试数据集，它将是:

testset = [valid_Dataset.df.loc[i].to_list() for i in range(len(valid_Dataset.df))]
algo.test(testset)[:2] 

[Prediction(uid='2', iid='103', r_ui=3.0224818872683845, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False}),
 Prediction(uid='2', iid='103', r_ui=4.609064535195377, est=2.8486558674146125, details={'actual_k': 25, 'was_impossible': False})]

如果你想测试一个或两个值，它将是:

algo.test([['1','101',None]])