python - 使用机器学习进行数值预测

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 6 年前。

Improve this question

我开始进行朴素的数值预测。这是训练数据

https://gist.github.com/karimkhanp/75d6d5f9c4fbaaaaffe8258073d00a75

测试数据

https://gist.github.com/karimkhanp/0f93ecf5fe8ec5fccc8a7f360a6c3950

我编写了基本的 scikit learn 代码来训练和测试。

import pandas as pd
import pylab as pl
from sklearn import datasets
from sklearn import metrics, linear_model
from sklearn.linear_model import LogisticRegression, LinearRegression, BayesianRidge, OrthogonalMatchingPursuitCV, SGDRegressor
from datetime import datetime, date, timedelta

class NumericPrediction(object):
    def __init__(self):
        pass
    def dataPrediction(self):
        Train = pd.read_csv("data_scientist_assignment.tsv", sep='\t', parse_dates=['date'])
        Train_visualize = Train
        Train['timestamp'] = Train.date.values.astype(pd.np.int64)
        Train_visualize['date'] = Train['timestamp']
        print Train.describe()
        x1=["timestamp", "hr_of_day"]
        test=pd.read_csv("test.tsv", sep='\t', parse_dates=['date'])
        test['timestamp'] = test.date.values.astype(pd.np.int64)
        model = LinearRegression()
        model.fit(Train[x1], Train["vals"])
        # print(model)
        # print model.score(Train[x1], Train["vals"])
        print model.predict(test[x1])

        Train.hist()
        pl.show()

if __name__ == '__main__':
    NumericPrediction().dataPrediction()

但是这里的准确度非常低。因为做法非常幼稚。有什么更好的建议来提高准确性(在算法、示例、引用、库方面)？

Answer 1

首先，您的“测试”集看起来不正确。请检查一下。

其次，你的模型注定会失败。绘制您的数据 - 您看到了什么？显然，我们这里有季节性，而线性回归假设观察是独立的。重要的是要注意您正在处理时间序列。

R 语言在时间序列方面表现出色，具有用于时间序列预测的高级软件包，例如 bsts。不过，Python 在这里也同样好。 Pandas 模块将为您提供良好的服务。请注意，您可能不一定必须在这里使用机器学习。检查ARMA和ARIMA。 Bayesian structural time series也很优秀。

Here是一篇非常好的文章，指导您了解处理时间序列数据的基础知识。