- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我实际上试图将训练和部署部分分开,因为编译程序需要很长时间。
有人建议我使用 pickle dump 和 load,但将训练和部署部分分开。我尝试使用它但没有用。
def main():
print "Fetching data..."
train_df = util.get_training_data('../data/training_set_rel3.tsv')
valid_df = util.get_validation_data('../data/valid_set.tsv')
print "Standardizing scores..."
train_df, valid_df = util.append_standardized_column(train_df, valid_df, 'score')
print "Calculating perplexity feature..."
train_df, valid_df = Perplexity().fill_perplexity_columns(train_df, valid_df)
print "Calculating number of sentences feature..."
train_df, valid_df = fill_sentence_column(train_df, valid_df)
print "Cleaning for spelling and word count..."
# cleaned up data for spelling feature
vectorizer_train_spelling = util.vectorizer_clean_spelling(train_df)
train_essays_spelling = vectorizer_train_spelling['essay'].values
vectorizer_valid_spelling = util.vectorizer_clean_spelling(valid_df)
valid_essays_spelling = vectorizer_valid_spelling['essay'].values
print "Calculating total words feature..."
train_df, valid_df = fill_total_words_column(train_df, valid_df, train_essays_spelling, valid_essays_spelling)
print "Calculating unique words feature..."
train_df, valid_df = fill_unique_words_column(train_df, valid_df, train_essays_spelling, valid_essays_spelling)
print "Calculating spelling feature..."
# spelling feature
train_df, valid_df = fill_spelling_column(train_df, valid_df, train_essays_spelling, valid_essays_spelling)
print "Calculating pos tags features..."
train_df, valid_df = fill_pos_columns(train_df, valid_df)
print "Cleaning for TFIDF..."
# cleaned up data for tfidf vector feature
vectorizer_train = util.vectorizer_clean(train_df)
train_essays = vectorizer_train['essay'].values
vectorizer_valid = util.vectorizer_clean(valid_df)
valid_essays = vectorizer_valid['essay'].values
print "Calculating TFIDF features with unigram..."
train_df, valid_df = fill_tfidf_column(train_df, valid_df, train_essays, valid_essays, 1)
# print "Calculating TFIDF features with trigram..."
# train_df, valid_df = fill_tfidf_column(train_df, valid_df, train_essays, valid_essays, 3)
print train_df.head()
print valid_df.head()
COLS = ['essay_set', 'spelling_correct', 'std_sentence_count', 'std_unique_words', 'std_total_words',
'std_unique_words',
'ADJ', 'ADP', 'ADV', 'CONJ', 'DET', 'NOUN', 'NUM', 'PRT', 'PRON', 'VERB', '.', 'X', 'std_perplexity',
'std_score']
train_df = train_df[COLS].join(train_df.filter(regex=("tfidf_*")))
valid_df = valid_df[COLS].join(valid_df.filter(regex=("tfidf_*")))
print train_df.shape
print valid_df.shape
max_essay_set = max(train_df['essay_set'])
linreg_scores_df = pd.DataFrame(columns=['essay_set', 'p', 'spearman'])
lasso_scores_df = pd.DataFrame(columns=['essay_set', 'alpha', 'p', 'spearman'])
ridge_scores_df = pd.DataFrame(columns=['essay_set', 'alpha', 'p', 'spearman'])
alphas = [x * 1.0 / 20 for x in range(20, 0, -1)]
for i in range(1, max_essay_set + 1):
print ""
train_x = np.asarray((train_df[train_df['essay_set'] == i]).drop(['essay_set', 'std_score'], axis=1))
train_std_scores = np.asarray((train_df[train_df['essay_set'] == i])['std_score'], dtype="|S6").astype(np.float)
regr = LinReg(fit_intercept=False, copy_X=False)
regr.fit(train_x, train_std_scores)
valid_x = np.asarray((valid_df[valid_df['essay_set'] == i]).drop(['essay_set', 'std_score'], axis=1))
valid_pred_std_scores = regr.predict(valid_x)
linreg_spear, p = Spearman(a=(valid_df[valid_df['essay_set'] == i])["std_score"], b=valid_pred_std_scores)
linreg_scores_df = linreg_scores_df.append({'essay_set': i, 'p': p, 'spearman': linreg_spear},
ignore_index=True)
print "Linear for Essay Set " + str(i) + ":", linreg_spear
for a in alphas:
ridge = linear_model.Ridge(alpha=a)
ridge.fit(train_x, train_std_scores)
valid_pred_std_scores_ridge = ridge.predict(valid_x)
ridge_spear, p = Spearman(a=(valid_df[valid_df['essay_set'] == i])["std_score"],
b=valid_pred_std_scores_ridge)
ridge_scores_df = ridge_scores_df.append({'essay_set': i, 'alpha': a, 'p': p, 'spearman': ridge_spear},
ignore_index=True)
print "Alpha = " + str(a) + " Ridge for Essay Set " + str(i) + ":", ridge_spear
lasso = linear_model.Lasso(alpha=a)
lasso.fit(train_x, train_std_scores)
valid_pred_std_scores_lasso = lasso.predict(valid_x)
lasso_spear, p = Spearman(a=(valid_df[valid_df['essay_set'] == i])["std_score"],
b=valid_pred_std_scores_lasso)
lasso_scores_df = lasso_scores_df.append({'essay_set': i, 'alpha': a, 'p': p, 'spearman': lasso_spear},
ignore_index=True)
print "Alpha = " + str(a) + "Lasso for Essay Set " + str(i) + ":", lasso_spear
print linreg_scores_df
print ridge_scores_df
print lasso_scores_df
linreg_scores_df.to_pickle('linreg_scores-01.pickle')
ridge_scores_df.to_pickle('ridge_scores-01.pickle')
lasso_scores_df.to_pickle('lasso_scores-01.pickle')
s1 = pickle.dumps(linreg_scores_df)
clf1 = pickle.loads(s)
s2= pickle.dumps(ridge_scores_df)
clf2 = pickle.loads(s)
s3= pickle.dumps(lasso_scores_df)
clf3 = pickle.loads(s)
这不是load和dump的正确使用方式吗。运行代码时出现内存错误,并且每次都开始训练。如何将训练和部署分开?
最佳答案
问题:
解决方案:
将数据训练部分放到一个函数中。
您正在 pickling pandas 数据帧,您需要使用正确的 (pandas) 方法进行 pickling/loading - 而不是来自 module pickle 的“原始”pickling 方法
您可以阅读更多关于酸洗的 pandas 函数(当前 0.24.x)here :
original_df = pd.DataFrame({"foo": range(5), "bar": range(5,
original_df.to_pickle("./dummy.pkl")
unpickled_df = pd.read_pickle("./dummy.pkl") # read pickle
print(unpickled_df)Output:
foo bar
0 0 5
1 1 6
2 2 7
3 3 8
4 4 9
您正在使用 loads
method泡菜本身。它用于腌制以字符串形式提供的内容(不是包含文件名的字符串)。
在更改为 pandas
方法后,它应该可以工作:您将 (df.to_pickle
) 处理过的内容放入 jar (file)将其存储在架子上(硬盘),如果您饿了(用于数据处理),您可以将其取出并打开(pd.read_pickle
) 并使用它。
关于python - 内存错误和训练部署分离,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56070379/
我在 *.sql 文件中得到了我的数据库转储(表、函数、触发器等)。此时我正在通过 jenkins 部署它们,通过传递执行 shell 命令: sudo -u postgres psql -d my_
我正在使用网络部署 API 来部署网络包(.zip 文件,由 MSDeploy.exe 创建)以编程方式将包发布到服务器(在发布包之前我们需要做一些其他事情这就是为什么我们不使用 MSDeploy.e
我们正在使用 Web Deploy 3 的(几乎完全未记录的)“公共(public) API”来创建我们网站的 .zip 包,然后将其同步到服务器: DeploymentBaseOptions des
将 clojure 应用程序制作成可执行文件的最简单方法是什么,例如 http://rawr.rubyforge.org/ ruby 吗? (exe 和 app 文件也是) 最佳答案 使用 leini
是否可以下载 Android 源代码并针对任何设备进行编译? 我想做的是尝试 GSM 代码部分并编译操作系统并将其部署到我的摩托罗拉手机上。 谢谢! 最佳答案 是的,但这很难,因为大多数手机不共享驱动
我正在考虑用 c/c++ 编写需要在大多数个人计算机上运行的 nbody 样式模拟。本质上是一个 O(n^2) 粒子模拟器。 因为这需要相当用户友好,所以我希望有 1 个不需要用户安装任何东西的 Wi
需要了解 kubernetes 部署中 kube_deployment_status_replicas 和 kube_deployment_spec_replicas 指标的区别 最佳答案 简而言之,
我正在尝试使用分类器部署 Maven Artifact 。由于我需要源代码和 JAR(我从 GWT 使用它),我想获得 artifact-version-classifier.jar 和 artifa
我设置部署以将我的项目代码与存储我的网站的 FTP 服务器上的项目同步。 但是,每次尝试同步时,我总是必须登录。 我什至检查了记住,但它不起作用! 我正在使用最新的 PhpStorm 2017.1.4
我在 Visual Studio 2008 中开发了一个 ASP.NET 网站。现在我想在其他机器上部署它。我怎样才能做到这一点??就像我们为 Windows 应用程序制作安装包一样,我们可以为 AS
将 QT 框架添加到我的 .app 包中 我正在关注 Qt 站点上关于部署的文档。 我创建了一个名为 HTTPClient.app 的应用程序 我在 Contents 下创建了 Framework 文
这个问题不太可能对任何 future 的访客有帮助;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况相关,通常不适用于互联网的全局受众。如需帮助使这个问题更广泛适用,visit the h
我正在研究改变我目前创建营销网站的策略。目前,我完全用 PHP 从头开始构建网站,使用一个简单的包含系统。所有代码(以及内容)都存储在文件(而不是数据库)中,允许我使用 Subversion 进行
我有一个长期运行的服务(在 while 1 循环中)并通过 GCloud pub/sub 处理有效负载,之后它将结果写入数据库。 该服务不需要监听任何端口。 Kind=Deployment 的声明性
似乎部署已停滞不前。我该如何进一步诊断? kubectl rollout status deployment/wordpress Waiting for rollout to finish: 2 ou
我正在Dart中使用前端的Angular和后端的Shelf构建一个客户端/服务器应用程序。当我执行pub build时,它会按预期生成Dart文件的javascript,但不会替换HTML文件中的Da
我在 Azure 部署中心的下拉列表中看不到我的所有 Github 组织存储库。 Azure 很久以前就已经被授权了,下拉列表正确地显示了所有的存储库,直到上周我在 DevOps 中玩游戏时,不得不再
我认为标题几乎说明了一切...对于 Deployd 来说是全新的,所以任何关于如何最好地实现这一点的指示都值得赞赏。 最佳答案 要获取用户创建的集合中的对象(我假设您使用的是 javascript 库
我有一个试图用于CD服务器的部署脚本,但是在编写bash脚本以完成一些所需的步骤(例如运行npm和迁移命令)时遇到了问题。 我将如何从该脚本进入容器bash,运行下面的命令,然后退出以完成对更改的提取
我想在使用 kubectl 时将参数传递给 Kubernetes 部署命令应用部署文件。 示例:在我的部署 .yaml 中,我有如下参数,我想在使用 kubectl apply - f .yaml 运
我是一名优秀的程序员,十分优秀!