- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我是 python Spark 新手,需要您的帮助,提前致谢!
所以我们开始吧,我有这段脚本:
from datetime import datetime
from pyspark import SparkContext
def getNormalizedDate(dateOfCL):
#the result will be in [0,1]
dot=datetime.now()
od=datetime.strptime("Jan 01 2010", "%b %d %Y")
return (float((dateOfCL-od).days)/float((dot-od).days))
def addition(a, b):
a1=a
b1=b
if not type(a) is float:
a1=getNormalizedDate(a)
if not type(b) is float:
b1=getNormalizedDate(b)
return float(a1+b1)
def debugFunction(x):
print "x[0]: " + str(type(x[0]))
print "x[1]: " + str(type(x[1])) + " --> " + str(x[1])
return x[1]
if __name__ == '__main__':
sc = SparkContext("local", "File Scores")
textFile = sc.textFile("/data/spark/file.csv")
#print "Number of lines: " + str(textFile.count())
test1 = textFile.map(lambda line: line.split(";"))
# result of this:
# [u'01', u'01', u'add', u'fileName', u'Path', u'1', u'info', u'info2', u'info3', u'Sep 24 2014']
test2 = test1.map(lambda line: (line[3], datetime.strptime(line[len(line)-1], "%b %d %Y")))
test6=test2.reduceByKey(addition)
#print test6
test6.persist()
result=sorted(test6.collect(), key=debugFunction)
这以错误结束:
Traceback (most recent call last):
File "/data/spark/script.py", line 40, in <module>
result=sorted(test6.collect(), key=lambda x:x[1])
TypeError: can't compare datetime.datetime to float
有关信息,test6.collect() 提供此内容
[(u'file1', 0.95606060606060606),
(u'file2', 0.91515151515151516),
(u'file3', 0.8797979797979798),
(u'file4', 0.0),
(u'file5', 0.94696969696969702),
(u'file6', 0.95606060606060606),
(u'file7', 0.98131313131313136),
(u'file8', 0.86161616161616161)]
我想根据浮点值(不是键)对其进行排序请问应该如何进行?
谢谢大家。
最佳答案
对于那些可能感兴趣的人,我发现了这个问题。我按键减少,然后执行值列表中包含的项目的添加。一些文件是唯一的,不会受到此减少的影响,因此它们仍然具有日期而不是 float 。
我现在做的是
test2 = test1.map(lambda line: (line[3], line[len(line)-1])).map(getNormalizedDate)
这将生成 (file, float) 对
然后,我按键减少
最后一步
result=sorted(test6.collect(), key=lamba x:x[1])
为我提供了我正在寻找的正确排序。
我希望这有帮助!
关于python Spark根据值对元素进行排序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30648449/
在开发中的网页上,我在 IE 上遇到此错误 element = $(element); 此代码位于prototype.js 预期对象 如何消除此错误。 更新: 现场也使用了 jQuery。 最佳答
我有两个大小相同的嵌套数组: Array1 =[[1, 2], [], [2, 3]] Array2= [[1, 4], [8, 11], [3, 6]] 我需要将它们合并到一个数组中,如下所示: A
我有一些 jQuery 代码,当单击具有特定 ID 的项目时运行。当 ID 是 的一部分时,它就可以工作。元素,但当它位于 中时则不然元素。为什么会这样呢?我想使用 an,因为如果用户关闭了 Ja
Flex-box 规范 3声明 flex 元素不是 block 容器: A flex item establishes a new formatting context for its content
我遇到了一个意想不到的问题。 HTML JS $(function() { var $divs = $('.myDiv'); // create new div not in
我使用 Bootstrap 和 Ember.js 得到了一个无序列表。每个列表项都是一个显示新帖子的链接,每当您单击该链接时,Ember 都会添加类 active默认情况下。我正在使用 Bootstr
我正在尝试让一个函数正常工作,但运气不佳,所以我想向 Stackoverflow 智囊团提出一个新手问题! 基本上,我有一个表单,并且循环遍历所有元素以查看是否存在自定义数据属性。如果存在,则保持该元
我想映射一个可选数组,删除那些 nil 值,并使用另一个函数映射非 nil 值。 我知道我可以通过使用 compactMap 然后使用常规 map 来实现这一点,但我只想遍历数组一次。 我为此实现了一
我如何定位 li 元素,除非它们出现在 之后元素?换句话说,我想针对步骤而不是注释。 我尝试向 OL 添加一个我想从选择中排除的类,但我想出的代码不起作用。 (顺便说一句,重构 html 不是一种选
Warning 1 The element 'system.webServer' has invalid child element 'rewrite'. List of possible eleme
我正在尝试编写一个脚本,该脚本将遍历 HTML 源并创建 DOM 的 JSON 文件,然后使用 d3.js 在 TreeView 中显示该文件。我遇到的问题是不仅希望显示元素(TITLE、P、LI 等
我有以下 HTML 表单:- Option 1 Option 2
我试图在选定的 HTML 元素之后选择下一个具有类名 slider-value 的 span 元素。我尝试了多种解决方案,但没有一个有效。 我可以通过 id 选择它,但我不希望那样做使代码冗余。 $(
如果电子邮件地址无效,我想在屏幕上显示一条消息“请输入有效的电子邮件地址”。 body 元素的innerHTML 语句工作正常,但我用于p 元素的innerHTML 语句不起作用。 有一次,当我测试它
以下 jQuery 代码调用 ul 元素,查找元素内的前 三个 li 列表项,并隐藏剩余的 li 项目。然后,它附加一个 li 元素,其中显示“显示更多...”,并且在单击时显示之前隐藏的列表项。 (
我问了a question早些时候关于将编辑/删除链接与 h1 元素内联的最佳方法。我能够通过给出的答案实现这一点,但我现在有额外的要求,我需要在 h1 下方显示一个段落并编辑/删除链接。 到目前为止
我使用 MVC 4 和 knockout.js 库版本 2.1.0 显示从服务器检索到的大量文件的表中的以下摘录。 0)"> 正在正确检索数据,
我创建了一个脚本,该脚本在鼠标悬停在父容器上时激活,并且应该将其子元素移离鼠标。我目前已经让它工作了,但是代码的某些部分似乎与 REACT 代码应该是什么样子相矛盾。特别是两个部分。 我在渲染函数中使
我是 JS 新手,正在尝试理解项目 https://github.com/tastejs/todomvc 的代码 请参阅屏幕截图,我尝试对 button X 以及其父元素 div 设置断点,但在这两种
例如,假设有一个带有奇特颜色的标记: Something written here 使用 Visual Studio 2017 和 MVC 5 元素,有没有办法检查和定位当前应用了哪些样式,以及负责它
我是一名优秀的程序员,十分优秀!