- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我在 DataFrame 中有两列(serverTs、FTs),它们是 Unix 时间格式的时间戳。在我的代码中,我需要从另一个中减去一个。当我这样做时,我收到一条错误消息,说我不能减去字符串。所以我将 serverT 和 FT 的类型添加为整数。
file = r'S:\Работа с клиентами\Клиенты\BigTV Rating\fts_check.csv'
col_names = ["Day", "vcId", "FTs", "serverTs", "locHost", "tnsTmsec", "Hits", "Uniqs"]
df_empty = pd.DataFrame()
with open(file) as fl:
chunk_iter = pd.read_csv(fl, sep='\t', names=col_names, dtype={'serverTs': np.int32, 'FTs': np.int32}, chunksize = 100000)
for chunk in chunk_iter:
chunk['diff'] = np.array(chunk['serverTs'])-np.array(chunk['FTs'])
chunk = chunk[chunk['diff'] > 180]
df_empty = pd.concat([df_empty,chunk])
但是程序给我一个错误:
TypeError Traceback (most recent call last) pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()
TypeError: Cannot cast array from dtype('O') to dtype('int32') according to the rule 'safe'
During handling of the above exception, another exception occurred:
ValueError Traceback (most recent call last) in () 6 #dtype={'serverTs': np.int32, 'FTs': np.int32}, 7 #chunk_iter = chunk_iter.astype({'serverTs': np.int32, 'FTs': np.int32}) ----> 8 for chunk in chunk_iter: 9 #print(chunk[chunk['FTs'] == 'NaN']) 10 #chunk[['serverTs','FTs']] = chunk[['serverTs','FTs']].astype('int32')
C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py in next(self) 1040 def next(self): 1041 try: -> 1042 return self.get_chunk() 1043 except StopIteration: 1044 self.close()
C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py in get_chunk(self, size) 1104 raise StopIteration
1105 size = min(size, self.nrows - self._currow) -> 1106 return self.read(nrows=size) 1107 1108C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py in read(self, nrows) 1067 raise ValueError('skipfooter not supported for iteration') 1068 -> 1069 ret = self._engine.read(nrows) 1070 1071 if self.options.get('as_recarray'):
C:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parsers.py in read(self, nrows) 1837 def read(self, nrows=None): 1838
try: -> 1839 data = self._reader.read(nrows) 1840 except StopIteration: 1841 if self._first_chunk:pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()
ValueError: invalid literal for int() with base 10: 'FTs'
我正在使用 SQL 查询从 Hadoop 中获取数据,因此我检查了任何带有字母的符号,但只有数字。此外,如果 FT 有任何不是数字的字符,它就不会出现在数据库中。可能是什么问题?
最佳答案
这里的问题是您传递了 names
和 dtypes
参数。这会导致 header
充当 None
。所以考虑:
In [1]: import pandas as pd, numpy as np
In [2]: dt={'serverTs': np.int32, 'FTs': np.int32}
In [3]: import io
In [4]: s = """FTs,serverTs
...: 0,1
...: 1,2
...: """
In [5]: pd.read_csv(io.StringIO(s))
Out[5]:
FTs serverTs
0 0 1
1 1 2
In [6]: pd.read_csv(io.StringIO(s), dtype=dt)
Out[6]:
FTs serverTs
0 0 1
1 1 2
工作正常。但是,如果我传递 names
:
In [8]: names = 'FTs','serverTs'
In [9]: pd.read_csv(io.StringIO(s), dtype=dt, names=names)
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()
TypeError: Cannot cast array from dtype('O') to dtype('int32') according to the rule 'safe'
During handling of the above exception, another exception occurred:
ValueError Traceback (most recent call last)
<ipython-input-9-18dcd5477b7e> in <module>()
----> 1 pd.read_csv(io.StringIO(s), dtype=dt, names=names)
/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
707 skip_blank_lines=skip_blank_lines)
708
--> 709 return _read(filepath_or_buffer, kwds)
710
711 parser_f.__name__ = name
/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
453
454 try:
--> 455 data = parser.read(nrows)
456 finally:
457 parser.close()
/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in read(self, nrows)
1067 raise ValueError('skipfooter not supported for iteration')
1068
-> 1069 ret = self._engine.read(nrows)
1070
1071 if self.options.get('as_recarray'):
/Users/juan/anaconda3/lib/python3.5/site-packages/pandas/io/parsers.py in read(self, nrows)
1837 def read(self, nrows=None):
1838 try:
-> 1839 data = self._reader.read(nrows)
1840 except StopIteration:
1841 if self._first_chunk:
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens()
ValueError: invalid literal for int() with base 10: 'FTs'
In [10]:
所以一种解决方案是传递正确的 header 索引:
In [10]: pd.read_csv(io.StringIO(s), dtype=dt, names=names, header=0)
Out[10]:
FTs serverTs
0 0 1
1 1 2
或者更好的是,根本不要传递 names
,pandas
无论如何都会为您推断:
In [11]: pd.read_csv(io.StringIO(s), dtype=dt)
Out[11]:
FTs serverTs
0 0 1
1 1 2
关于python - 在计算中无法将 dtype int 识别为 int,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50718634/
我有两个数据框,它们都有一个 Order ID 和一个 date。 我想在第一个数据帧 df1 中添加一个标志:如果具有相同 order id 和 date 的记录在数据帧 df2,然后添加一个Y:
我正在运行 Python 2.6。我有以下示例,我试图连接 csv 文件中的日期和时间字符串列。根据我设置的 dtype(无与对象),我发现一些我无法解释的行为差异,请参阅帖子末尾的问题 1 和 2。
当尝试通过以下代码将 sklearn 数据集转换为 pandas 数据帧时,出现此错误“ufunc 'add' 不包含签名匹配类型 dtype(' import numpy as np from sk
我正在尝试使用我的代码计算周期图 from scipy import signal import numpy as np import matplotlib.pyplot as plt x = [li
我有 pandas 数据框 df,我想打印出变量列表以及类型和缺失字段的数量(NaN、NA)。 def var_desc(df,dt): print('====================
这个数据类型是如何工作的,我对这个东西很着迷。 1:首先使用python的默认类型:无法工作,引发错误 bins = pd.DataFrame(dtype=[str, int, int], colum
尝试获取小型玩具数据集的直方图时,通过 matplotlib 来自 numpy 的奇怪错误。我只是不确定如何解释错误,这让我很难知道接下来要做什么。 虽然没有找到太多相关信息,但this nltk q
我在减去数据表的两列时遇到问题,我是Python新手,在尝试研究如何解决这个问题失败后,我想知道是否有人有任何见解。我的代码是这样的: response = qc.query(token, sql=q
我运行我的代码,它在第 79 行抛出错误: numpy.core._exceptions.UFuncTypeError: ufunc 'add' did not contain a loop with
我正在尝试创建一个非常简单的程序,它将绘制一条抛物线图,其中 v 是速度,a 是加速度,x是时候了。用户将输入 v 和 a 的值,然后是 v 和 a 以及 x 将确定 y。 我试图用这个来做到这一点:
我构建了一个槽填充(一种序列分类)模型,其结构为:自定义 ELMo 嵌入层 - BiLSTM - CRF。 它训练得很好。但根据预测我得到: 'TypeError: ufunc 'add' did n
是否有比以下方法更优雅的方法来为可能复杂的 dtype 获取相应的真实 numpy dtype? import numpy as np def dtype_to_real(rvs_dtype: np.
对于 jupyter 中的以下 pandas 代码,我试图获取数据类型信息。tab 在 jupyter 中为我提供了有两个属性的信息它同时具有 dtype 和 dtypes import pandas
我有一个用 pandas 加载的 csv 文件,如下所示: classes_dataset2=pd.read_csv("labels.csv") classes_dataset2[0:10] 0
我有一个类似于以下内容的 numpy.dtype: dtype([('value1','>> d = np.dtype([('value1','>> [x[0] for x in d.descr] [
我正在使用 scipy 的 curve_fit 来拟合一些数据的函数,并收到以下错误; Cannot cast array data from dtype('O') to dtype('float64
好吧,似乎在堆栈溢出中提出了几个类似的问题,但似乎没有一个回答正确或正确,也没有描述确切的示例。 我在将数组或列表保存到 hdf5 时遇到问题... 我有几个文件包含 (n, 35) 维度的列表,其中
目前我得到的数组是 arr = array([array([ 2, 7, 8, 12, 14]), array([ 3, 4, 5, 6, 9, 10]), array([0, 1]
我有一个 Pandas 系列。我想检查该系列的数据类型是否在数据类型列表中。像这样的东西: series.dtype not in [pd.dtype('float64'), pd.dtype('fl
我有一个 numpy 数组,我想将其从对象转换为复数。如果我将该数组作为 dtype 字符串并进行转换,则没有问题: In[22]: bane Out[22]: array(['1.000027337
我是一名优秀的程序员,十分优秀!