- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在研究一些关于 text_analysis 的 Kaggle 竞赛的数据,每当我尝试拟合我的算法时,我总是会收到标题中描述的这个相当奇怪的错误。我查了一下,它与我的矩阵在呈现为稀疏矩阵时密集填充非零元素有关。我认为这个问题出在代码下面的 train_labels 上,标签由 24 列组成,一开始并不常见,标签是 0 和 1 之间的 float (包括 0 和 1)。尽管对问题是什么有一些想法,但我不知道如何正确解决它,而且我之前的尝试效果不佳。你们对我如何解决这个问题有什么建议吗?
代码:
import numpy as np
import pandas as p
import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
import os
from sklearn.linear_model import RidgeCV
dir = "C:/Users/Anonymous/Desktop/KAGA FOLDER/Hashtags"
def clean_the_text(data):
alist = []
data = nltk.word_tokenize(data)
for j in data:
alist.append(j.rstrip('\n'))
alist = " ".join(alist)
return alist
def loop_data(data):
for i in range(len(data)):
data[i] = clean_the_text(data[i])
return data
if __name__ == "__main__":
print("loading data")
train_text = loop_data(list(np.array(p.read_csv(os.path.join(dir,"train.csv")))[:,1]))
test_set = loop_data(list(np.array(p.read_csv(os.path.join(dir,"test.csv")))[:,1]))
train_labels = np.array(p.read_csv(os.path.join(dir,"train.csv")))[:,4:]
#Vectorizing
vectorizer = TfidfVectorizer(max_features = 10000,strip_accents = "unicode",analyzer = "word")
ridge_classifier = RidgeCV(alphas = [0.001,0.01,0.1,1,10])
all_data = train_text + test_set
train_length = len(train_text)
print("fitting Vectorizer")
vectorizer.fit(all_data)
print("transforming text")
all_data = vectorizer.transform(all_data)
train = all_data[:train_length]
test = all_data[train_length:]
print("fitting and selecting models")
ridge_classifier.fit(train,train_labels)
print("predicting")
pred = ridge_classifier.predict(test)
np.savetxt(dir +"submission.csv", pred, fmt = "%d", delimiter = ",")
print("submission_file created")
回溯:
Traceback (most recent call last):
File "C:\Users\Anonymous\workspace\final_submission\src\linearSVM.py", line 56, in <module>
ridge_classifier.fit(train,train_labels)
File "C:\Python27\lib\site-packages\sklearn\linear_model\ridge.py", line 817, in fit
estimator.fit(X, y, sample_weight=sample_weight)
File "C:\Python27\lib\site-packages\sklearn\linear_model\ridge.py", line 724, in fit
v, Q, QT_y = _pre_compute(X, y)
File "C:\Python27\lib\site-packages\sklearn\linear_model\ridge.py", line 609, in _pre_compute
K = safe_sparse_dot(X, X.T, dense_output=True)
File "C:\Python27\lib\site-packages\sklearn\utils\extmath.py", line 78, in safe_sparse_dot
ret = a * b
File "C:\Python27\lib\site-packages\scipy\sparse\base.py", line 303, in __mul__
return self._mul_sparse_matrix(other)
File "C:\Python27\lib\site-packages\scipy\sparse\compressed.py", line 520, in _mul_sparse_matrix
indices = np.empty(nnz, dtype=np.intc)
ValueError: negative dimensions are not allowed
我怀疑我的标签有问题,所以这里是标签:
In [12]:
undefined
import pandas as pd
import numpy as np
import os
dir = "C:\Users\Anonymous\Desktop\KAGA FOLDER\Hashtags"
labels = np.array(pd.read_csv(os.path.join(dir,"train.csv")))[:,4:]
labels
Out[12]:
array([[0.0, 0.0, 1.0, ..., 0.0, 0.0, 0.0],
[0.0, 0.0, 0.0, ..., 0.0, 0.0, 0.0],
[0.0, 0.0, 0.0, ..., 0.0, 0.0, 0.0],
...,
[0.0, 0.0, 0.0, ..., 1.0, 0.0, 0.0],
[0.0, 0.385, 0.41, ..., 0.0, 0.0, 0.0],
[0.0, 0.20199999999999999, 0.395, ..., 0.0, 0.0, 0.0]], dtype=object)
In [13]:
undefined
labels.shape
Out[13]:
(77946L, 24L)
最佳答案
问题是因为大小不匹配。
train_labels
实际上是所有数据的类。 train
和 train_labels
的大小应该匹配。
关于python - 值错误 : negative dimensions are not allowed,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19938587/
我已经使用 vue-cli 两个星期了,直到今天一切正常。我在本地建立这个项目。 https://drive.google.com/open?id=0BwGw1zyyKjW7S3RYWXRaX24tQ
您好,我正在尝试使用 python 库 pytesseract 从图像中提取文本。请找到代码: from PIL import Image from pytesseract import image_
我的错误 /usr/bin/ld: errno: TLS definition in /lib/libc.so.6 section .tbss mismatches non-TLS reference
我已经训练了一个模型,我正在尝试使用 predict函数但它返回以下错误。 Error in contrasts<-(*tmp*, value = contr.funs[1 + isOF[nn]])
根据Microsoft DataConnectors的信息我想通过 this ODBC driver 创建一个从 PowerBi 到 PostgreSQL 的连接器使用直接查询。我重用了 Micros
我已经为 SoundManagement 创建了一个包,其中有一个扩展 MediaPlayer 的类。我希望全局控制这个变量。这是我的代码: package soundmanagement; impo
我在Heroku上部署了一个应用程序。我正在使用免费服务。 我经常收到以下错误消息。 PG::Error: ERROR: out of memory 如果刷新浏览器,就可以了。但是随后,它又随机发生
我正在运行 LAMP 服务器,这个 .htaccess 给我一个 500 错误。其作用是过滤关键字并重定向到相应的域名。 Options +FollowSymLinks RewriteEngine
我有两个驱动器 A 和 B。使用 python 脚本,我在“A”驱动器中创建一些文件,并运行 powerscript,该脚本以 1 秒的间隔将驱动器 A 中的所有文件复制到驱动器 B。 我在 powe
下面的函数一直返回这个错误信息。我认为可能是 double_precision 字段类型导致了这种情况,我尝试使用 CAST,但要么不是这样,要么我没有做对...帮助? 这是错误: ERROR: i
这个问题已经有答案了: Syntax error due to using a reserved word as a table or column name in MySQL (1 个回答) 已关闭
我的数据库有这个小问题。 我创建了一个表“articoli”,其中包含商品的品牌、型号和价格。 每篇文章都由一个 id (ID_ARTICOLO)` 定义,它是一个自动递增字段。 好吧,现在当我尝试插
我是新来的。我目前正在 DeVry 在线学习中级 C++ 编程。我们正在使用 C++ Primer Plus 这本书,到目前为止我一直做得很好。我的老师最近向我们扔了一个曲线球。我目前的任务是这样的:
这个问题在这里已经有了答案: What is an undefined reference/unresolved external symbol error and how do I fix it?
我的网站中有一段代码有问题;此错误仅发生在 Internet Explorer 7 中。 我没有在这里发布我所有的 HTML/CSS 标记,而是发布了网站的一个版本 here . 如您所见,我在列中有
如果尝试在 USB 设备上构建 node.js 应用程序时在我的树莓派上使用 npm 时遇到一些问题。 package.json 看起来像这样: { "name" : "node-todo",
在 Python 中,您有 None单例,在某些情况下表现得很奇怪: >>> a = None >>> type(a) >>> isinstance(a,None) Traceback (most
这是我的 build.gradle (Module:app) 文件: apply plugin: 'com.android.application' android { compileSdkV
我是 android 的新手,我的项目刚才编译和运行正常,但在我尝试实现抽屉导航后,它给了我这个错误 FAILURE: Build failed with an exception. What wen
谁能解释一下?我想我正在做一些非常愚蠢的事情,并且急切地等待着启蒙。 我得到这个输出: phpversion() == 7.2.25-1+0~20191128.32+debian8~1.gbp108
我是一名优秀的程序员,十分优秀!