- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用 Apache Spark 和 Scala 创建一个 ML 管道。我的管道中的一个变形金刚做了一个昂贵的 join
在这个过程的早期操作。由于我的 ParamGrid
中有很多功能这意味着节目要撑得住这个巨大的,加入DataFrame
在内存中优化网格中的每个特征。
为了尝试解决这个问题,我创建了一个自定义 Transformer
缓存这么大的中级 DataFrame
通过将其写入 S3 中的 Parquet 并返回从 Parquet 读取的数据帧。这运行良好并提高了模型的速度,直到我向 ParamGrid
添加了功能在缓存阶段之前上演。当我将 Parquet 写入 S3 时,我使用由以下条件确定的路径:
class Cacher(override val uid: String) extends Transformer {
// the cachePath variable determines the path within the S3 bucket
lazy val cachePath = Identifiable.randomUID(uid + "transformer-cache")
// ...
uid
正在工作...我的信念是,每当 Spark 优化
ParamGrid
,它使用管道中那个点上演的任何类,创建它们的新实例,并为它们提供新的、独特的
uid
s 来跟踪它们。我怀疑缓存出了问题,因为 Spark 没有给出唯一的
uid
到新
Transformer
它创建的实例意味着每当缓存的新实例
Transformer
时,缓存的 Parquet 都会被不断覆盖。被 build 。任何人都可以就如何生成唯一的随机提供任何指示
uid
s 对于管道创建的每个阶段实例?
最佳答案
一步步:
uid
Identifiable
要求trait( Transformer
延伸 PipelineStage
延伸 Params
延伸 Identifiable
)。 Identifiable
文档 uid
is :An immutable unique ID for the object and its derivatives.
Params
是可变的。设置参数返回this
并且不影响 uid
.import org.apache.spark.ml.feature.OneHotEncoder
val enc = new OneHotEncoder()
val enc_ = enc.setInputCol("foo")
enc == enc_
Boolean = true
enc.uid == enc_.uid
Boolean = true
copying
Params
创建一个新实例但保持不变 uid
(请参阅上一点引用的强调部分)。val encCopy = enc.copy(new org.apache.spark.ml.param.ParamMap())
encCopy == enc
Boolean = false
encCopy.uid == enc.uid
Boolean = true
copy
method避免 copying parent uid
但这似乎与制作 Params
背后的整个想法相冲突。 Identifiable
. uid
或使路径依赖于当前的参数集。 Dataset.persist
)。它不仅解决了手头的问题,还解决了退出时释放资源的隐藏问题。 关于scala - 了解 UID 在 Spark MLLib Transformer 中的作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40874941/
我有一段这样的代码。我发现 myResults = writer.getBuffer().toString(); 对某些用例返回 EMPTY STRING,但对其他用例则不返回。 我查看了服务器,但在
如何使用 javascript 通过 id 更改元素中的 -webkit-transform 、-moz-transform 、-o-transform 和 -ms-transform css? 这段
我正在使用 javax.xml.transform.Transformer.transform() 通过 xsl 样式表将一个 xml 转换为另一个 xml。我想以编程方式设置第一级 child 的排
为了使 seaborn.pairplot() 正常工作,在 jupyter notebook 中执行了以下步骤。 /usr/local/lib/python2.7/site-packages/matp
假设这个输入 XML 编写这些代码行: StreamSource source = new StreamSource(new StringReader(/* the above XML*/));
如何在 spring 框架中配置 java.xml.transform.Transformer ?我需要转换器的实例来通过 xslt 将 xml 转换为文本。因此,配置的转换器应该了解 xslt 样式
我一直在核心数据中使用可转换属性,将图像和颜色等复杂对象转换为原始数据。我拿了this ... The idea behind transformable attributes is that you
我正在尝试打开 XML 文件,添加一些更改,然后保存到其他 XML 文件结果。我正在使用标准 javax.xml.parsers.* 和 javax.xml.transform* 类。 但在保存的文档
Transformer(变换方法)对输入源的大小有限制吗? 我正在尝试转换一个相当长的 (18M) XML,但收到一个奇怪的错误 "The element type "HR" must be term
我正在尝试解析一个非常简单的示例: 100 我使用的样式表如下: 这在 libxs
来自文档 for from_pretrained ,我知道我不必每次都下载预训练的向量,我可以使用以下语法保存它们并从磁盘加载: - a path to a `directory` contain
默认缓存目录磁盘容量不足,我需要更改默认缓存目录的配置。 最佳答案 您可以在每次加载模型时指定缓存目录 .from_pretrained通过设置参数cache_dir .您可以通过导出环境变量 TRA
有一个函数,例如: CATransform3DGetAffineTransform Returns the affine transform represented by 't'. If 't' ca
我有一个包含 WCF 设置的配置文件: “add”元素只有一个 baseAddress 属性,所以我不能使用 Match 定位器。一种方法如何像我的示例中那样转换多个元素? 最
在收到下面链接中描述的错误后,我已将实体属性的 Transfomer 设置为 NSSecureUnarchiveFromData(之前为 nil)。 CoreData crash error Xcod
当我写Document时使用 Transformer 的 transform() 方法转换为 XML,生成的 XML 文档的格式很好 - 所有元素都写在单独的行上并缩进。除了第一个元素与定义写在同一行
我不明白 StreamResult 实例会发生什么。我看到 Transformer 对象接收 source 和 streamResult: transformer.transform(sour
从下面的代码片段我应该得出结论,std::transform 比 boost::transform 更受欢迎,因为前者使用更少的初始化和析构函数可能更有效比后者? #include #include
transform() 可以将函数应用到序列的元素上,并将这个函数返回的值保存到另一个序列中,它返回的迭代器指向输出序列所保存的最后一个元素的下一个位置。 这个算法有一个版本和 for_each()
我是 react-native 的新手。在项目上将 react-native 从 0.48.3 升级到 0.62.2 后,运行“react-native run-ios”命令时出现错误:“index.
我是一名优秀的程序员,十分优秀!