- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
因为 MLlib 不支持稀疏输入。所以我在 spark 集群上运行支持稀疏输入格式的流动代码。设置是:
代码是:
import java.util.Random
import scala.collection.mutable.HashMap
import scala.io.Source
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.util.Vector
import java.lang.Math
import org.apache.spark.broadcast.Broadcast
object SparseLR {
val lableNum = 1
val dimNum = 632918
val iteration = 10
val alpha = 0.1
val lambda = 0.1
val rand = new Random(42)
var w = Vector(dimNum, _=> rand.nextDouble)
class SparserVector {
var elements = new HashMap[Int, Double]
def insert(index: Int, value: Double){
elements += index -> value;
}
def *(scale: Double): Vector = {
var x = new Array[Double](dimNum)
elements.keySet.foreach(k => x(k) = scale * elements.get(k).get)
Vector(x)
}
}
case class DataPoint(x: SparserVector, y: Int)
def parsePoint(line: String): DataPoint = {
var features = new SparserVector
val fields = line.split("\t")
//println("fields:" + fields(0))
val y = fields(0).toInt
fields.filter(_.contains(":")).foreach( f => {
val feature = f.split(":")
features.insert(feature(0).toInt, feature(1).toDouble)
})
return DataPoint(features, y)
}
def gradient(p: DataPoint, w: Broadcast[Vector]) : Vector = {
def h(w: Broadcast[Vector], x: SparserVector): Double = {
val wb = w.value
val features = x.elements
val s = features.keySet.map(k => features.get(k).get * wb(k)).reduce(_ + _)
1 / (1 + Math.exp(-p.y * s))
}
p.x * (-(1 - p.y *h(w, p.x)))
}
def train(sc: SparkContext, dataPoints: RDD[DataPoint]) {
//val sampleNum = dataPoints.count
val sampleNum = 11680250
for(i <- 0 until iteration) {
val wb = sc.broadcast(w)
val g = (dataPoints.map(p => gradient(p, wb)).reduce(_ + _) + lambda * wb.value) /sampleNum
w -= alpha * g
println("iteration " + i + ": g = " + g)
}
}
def main(args : Array[String]): Unit = {
System.setProperty("spark.executor.memory", "15g")
System.setProperty("spark.default.parallelism", "32");
val sc = new SparkContext("spark://xxx:12036", "LR", "/xxx/spark", List("xxx_2.9.3-1.0.jar"))
val lines = sc.textFile("hdfs:xxx/xxx.txt", 32)
val trainset = lines.map(parsePoint _).cache()
train(sc, trainset)
}
}
谁能帮帮我?谢谢!
最佳答案
这个真的很难给你答案。也许这会更好地匹配 code review计算器子站点?
一些显而易见的事情:
您的渐变函数似乎效率低下。当您想为映射的每个键/值对做某事时,这样做效率更高
for((k,v)<-map) {
...
}
比做
for(k<-map.keySet) { val value = map.get(k).get;
...
}
此外,对于像这样的性能关键代码,最好将 reduce 更改为累积可变值。所以重写的梯度函数将是
def gradient(p: DataPoint, w: Broadcast[Vector]) : Vector = {
def h(w: Broadcast[Vector], x: SparserVector): Double = {
val wb = w.value
val features = x.elements
var s = 0.0
for((k,v)<-features)
s += v * wb(k)
1 / (1 + Math.exp(-p.y * s))
}
p.x * (-(1 - p.y *h(w, p.x)))
}
现在,如果您想进一步提高性能,则必须更改 SparseVector 以使用索引数组和值数组而不是 Map[Int, Double]。这样做的原因是在 Map 中,键和值将被装箱为具有相当大开销的对象,而 Array[Int] 或 Array[Double] 只是一个紧凑的内存块
(为方便起见,建议定义一个使用 SortedMap[Int, Double] 的构建器,并在构建完成后转换为两个数组)
class SparseVector(val indices: Array[Int], val values: Array[Double]) {
require(indices.length == values.length)
def *(scale: Double): Vector = {
var x = new Array[Double](dimNum)
var i = 0
while(i < indices.length) {
x(indices(i)) = scale * values(i)
i += 1
}
Vector(x)
}
}
请注意,上面的代码示例未经测试,但我想您会明白的。
关于scala - 为什么这个 LR 代码在 spark 上运行太慢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20768788/
我尝试理解[c代码 -> 汇编]代码 void node::Check( data & _data1, vector& _data2) { -> push ebp -> mov ebp,esp ->
我需要在当前表单(代码)的上下文中运行文本文件中的代码。其中一项要求是让代码创建新控件并将其添加到当前窗体。 例如,在Form1.cs中: using System.Windows.Forms; ..
我有此 C++ 代码并将其转换为 C# (.net Framework 4) 代码。有没有人给我一些关于 malloc、free 和 sprintf 方法的提示? int monate = ee; d
我的网络服务器代码有问题 #include #include #include #include #include #include #include int
给定以下 html 代码,将列表中的第三个元素(即“美丽”一词)以斜体显示的 CSS 代码是什么?当然,我可以给这个元素一个 id 或一个 class,但 html 代码必须保持不变。谢谢
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。 关闭 7 年前。
我试图制作一个宏来避免重复代码和注释。 我试过这个: #define GrowOnPage(any Page, any Component) Component.Width := Page.Surfa
我正在尝试将我的旧 C++ 代码“翻译”成头条新闻所暗示的 C# 代码。问题是我是 C# 中的新手,并不是所有的东西都像 C++ 中那样。在 C++ 中这些解决方案运行良好,但在 C# 中只是不能。我
在 Windows 10 上工作,R 语言的格式化程序似乎没有在 Visual Studio Code 中完成它的工作。我试过R support for Visual Studio Code和 R-T
我正在处理一些报告(计数),我必须获取不同参数的计数。非常简单但乏味。 一个参数的示例查询: qCountsEmployee = ( "select count(*) from %s wher
最近几天我尝试从 d00m 调试网络错误。我开始用尽想法/线索,我希望其他 SO 用户拥有可能有用的宝贵经验。我希望能够提供所有相关信息,但我个人无法控制服务器环境。 整个事情始于用户注意到我们应用程
我有一个 app.js 文件,其中包含如下 dojo amd 模式代码: require(["dojo/dom", ..], function(dom){ dom.byId('someId').i
我对“-gencode”语句中的“code=sm_X”选项有点困惑。 一个例子:NVCC 编译器选项有什么作用 -gencode arch=compute_13,code=sm_13 嵌入库中? 只有
我为我的表格使用 X-editable 框架。 但是我有一些问题。 $(document).ready(function() { $('.access').editable({
我一直在通过本教程学习 flask/python http://blog.miguelgrinberg.com/post/the-flask-mega-tutorial-part-i-hello-wo
我想将 Vim 和 EMACS 用于 CNC、G 代码和 M 代码。 Vim 或 EMACS 是否有任何语法或模式来处理这种类型的代码? 最佳答案 一些快速搜索使我找到了 this vim 和 thi
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?更新问题,使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve this
这个问题在这里已经有了答案: Enabling markdown highlighting in Vim (5 个回答) 6年前关闭。 当我在 Vim 中编辑包含 Markdown 代码的 READM
我正在 Swift3 iOS 中开发视频应用程序。基本上我必须将视频 Assets 和音频与淡入淡出效果合并为一个并将其保存到 iPhone 画廊。为此,我使用以下方法: private func d
pipeline { agent any stages { stage('Build') { steps { e
我是一名优秀的程序员,十分优秀!