python-3.x - 为什么我的 Flask 应用程序在使用 `python app.py` 执行时工作，但在使用 `heroku local web` 或 `flask run` 时不工作？

Question

我编写了一个基于 Flask 的 Web 应用程序，它从用户那里获取文本并返回它属于给定分类的概率(下面的完整脚本)。该应用程序会加载一些经过训练的模型，以便在发出任何请求之前进行预测。我目前正在尝试在 Heroku 上部署它并遇到一些问题。

当我执行 python ml_app.py 时，我可以在本地运行它.但是当我使用 Heroku CLI 命令 heroku local web尝试在本地运行它以在部署之前进行测试，我收到以下错误

AttributeError: module '__main__' has no attribute 'tokenize'

此错误与加载在该行中找到的名为 TFIDF 的文本矢量化器有关

tfidf_model = joblib.load('models/tfidf_vectorizer_train.pkl')

我在脚本顶部导入了所需的函数，以确保正确加载( from utils import tokenize)。考虑到我可以在使用 python ml_app.py 时运行它，这是可行的。 .但是由于我不知道的原因，当我使用 heroku local web 时它不会加载.当我使用 Flask CLI 命令 flask run 时它也不起作用尝试在本地运行它时。知道为什么吗？

我承认我对这里发生的事情(关于代码的 web 开发/部署方面)没有很好的理解，所以任何解释都会有所帮助。

from flask import Flask, request, render_template
from sklearn.externals import joblib
from utils import tokenize  # custom tokenizer required for tfidf model loaded in load_tfidf_model()

app = Flask(__name__)

models_directory = 'models'


@app.before_first_request
def nbsvm_models():

    global tfidf_model
    global logistic_identity_hate_model
    global logistic_insult_model
    global logistic_obscene_model
    global logistic_severe_toxic_model
    global logistic_threat_model
    global logistic_toxic_model

    tfidf_model = joblib.load('models/tfidf_vectorizer_train.pkl')
    logistic_identity_hate_model = joblib.load('models/logistic_identity_hate.pkl')
    logistic_insult_model = joblib.load('models/logistic_insult.pkl')
    logistic_obscene_model = joblib.load('models/logistic_obscene.pkl')
    logistic_severe_toxic_model = joblib.load('models/logistic_severe_toxic.pkl')
    logistic_threat_model = joblib.load('models/logistic_threat.pkl')
    logistic_toxic_model = joblib.load('models/logistic_toxic.pkl')


@app.route('/')
def my_form():
    return render_template('main.html')


@app.route('/', methods=['POST'])
def my_form_post():
    """
        Takes the comment submitted by the user, apply TFIDF trained vectorizer to it, predict using trained models
    """

    text = request.form['text']

    comment_term_doc = tfidf_model.transform([text])

    dict_preds = {}

    dict_preds['pred_identity_hate'] = logistic_identity_hate_model.predict_proba(comment_term_doc)[:, 1][0]
    dict_preds['pred_insult'] = logistic_insult_model.predict_proba(comment_term_doc)[:, 1][0]
    dict_preds['pred_obscene'] = logistic_obscene_model.predict_proba(comment_term_doc)[:, 1][0]
    dict_preds['pred_severe_toxic'] = logistic_severe_toxic_model.predict_proba(comment_term_doc)[:, 1][0]
    dict_preds['pred_threat'] = logistic_threat_model.predict_proba(comment_term_doc)[:, 1][0]
    dict_preds['pred_toxic'] = logistic_toxic_model.predict_proba(comment_term_doc)[:, 1][0]

    for k in dict_preds:
        perc = dict_preds[k] * 100
        dict_preds[k] = "{0:.2f}%".format(perc)

    return render_template('main.html', text=text,
                           pred_identity_hate=dict_preds['pred_identity_hate'],
                           pred_insult=dict_preds['pred_insult'],
                           pred_obscene=dict_preds['pred_obscene'],
                           pred_severe_toxic=dict_preds['pred_severe_toxic'],
                           pred_threat=dict_preds['pred_threat'],
                           pred_toxic=dict_preds['pred_toxic'])


if __name__ == '__main__':

    app.run(debug=True)

Answer 1

修复。这是由于我选择存储在 tfidf_vectorizer_train.pkl 中的类实例的方式。 .该模型是在 ipython 笔记本中创建的，其中一个属性取决于我在笔记本中以交互方式定义的标记器函数。我很快了解到酸洗不会保存类的确切实例，这意味着 tfidf_vectorizer_train.pkl不包含我在笔记本中定义的功能。

为了解决这个问题，我将标记器函数移动到一个单独的实用程序 python 文件中，并将该函数导入到我训练并随后腌制模型的文件和我解封它的文件中。

在代码中，我做到了

from utils import tokenize
...
tfidfvectorizer = TfidfVectorizer(ngram_range=(1, 2), tokenizer=tokenize,
                                      min_df=3, max_df=0.9, strip_accents='unicode',
                                      use_idf=1, smooth_idf=True, sublinear_tf=1)

train_term_doc = tfidfvectorizer.fit_transform(train[COMMENT])

joblib.dump(tfidfvectorizer, 'models/tfidf_vectorizer_train.pkl')
...

在我训练模型的文件中

from utils import tokenize
...
@app.before_first_request
def load_models():
    # from utils import tokenize

    global tfidf_model
    tfidf_model = 
    joblib.load('{}/tfidf_vectorizer_train.pkl'.format(models_directory))
...

在包含 Web 应用程序代码的文件中。