个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
有谁知道在 Glue 作业中将源文件名添加为列的方法吗？
我们创建了一个流，我们在其中抓取 S3 中的一些文件以创建架构。然后，我们编写了一个将文件转换为新格式的作业，并将这些文件作为 CSV 写回另一个 S3 存储桶，供我们管道的其余部分使用。我们想要做的是访问某种作业元属性，以便我们可以向包含原始文件名的输出文件添加一个新列。
我查看了 AWS 文档和 aws-glue-libs 源代码，但没有看到任何跳出的内容。理想情况下，应该有一些方法可以从 awsglue.job 中获取元数据。包(我们使用的是 python 风格)。
我仍在学习 Glue，如果我使用了错误的术语，请见谅。我也用 spark 标签标记了它，因为我相信这就是 Glue 在幕后使用的东西。
最佳答案
使用 AWS Glue Python 自动生成的脚本，我添加了以下几行:
from pyspark.sql.functions import input_file_name
## Add the input file name column
datasource1 = datasource0.toDF().withColumn("input_file_name", input_file_name())
## Convert DataFrame back to DynamicFrame
datasource2 = datasource0.fromDF(datasource1, glueContext, "datasource2")
ApplyMapping或
datasink部分代码，请引用
datasource2 .
关于amazon-web-services - AWS 胶水 : How to add a column with the source filename in the output?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50277563/
27
4
0
I have a question about adding files in git. I have found multiple stackoverflow questions about
我是 visual studio 的新手，来自 Delphi。 我有一个充满 .cs 文件的目录树(根是\Common)。 我还有一个充满应用程序的目录树(根目录是\Applications) 最后，
这个问题在这里已经有了答案: Array's lookup time complexity vs. how it is stored (4 个答案) Time complexity for java
谁能告诉我这两者有什么区别: ALTER TABLE x1 ADD INDEX(a); ALTER TABLE x1 ADD INDEX(b); 和 ALTER TABLE x1 ADD INDEX(
为什么有时我们使用 getChildren() add() 而其他时候我们直接使用 add() es: https://docs.oracle.com/javafx/2/get_started/for
如何使用 bootstrap css 在输入下方添加跨度？我需要做这样的事情: 最佳答案 是这样的吗？ http://jsfiddle.net/swm53ran/205/ 您可以使用纯 CSS 来实现
问题 np.add(X, 2*Y, out=X) 比 np.add(X, Y, out=X); np.add(X, Y, out=X).使用 np.add(X, Y, out=X); 是一种实际做法吗
当我跑 git add --intent-to-add .所有未跟踪的文件将其状态从“未跟踪的文件”( git status -s 显示 ?? )更改为“未暂存以进行提交的更改”( git statu
我不知道 .add 之间有什么区别和 .sink.add ? 例子: StreamController myStreamController = StreamController(); stream
getContentPane().add() 和 add() 的意思一样吗？ public class TestFrame extends JFrame{ public TestFrame()
git add . 和 git add * 会完成完全相同的事情吗？ 最佳答案 不，不会。 * 是一个 glob 模式，不会匹配以 开头的文件。 例如，假设这是当前目录，我有 2 个新文件要添加 fo
git的分支与合并的两种方法 git add -A和 git add . git add -u在功能上看似很相近，但还是存在一点差别 git add . ：他会
git add [--all | -A] 之间有什么区别？和 git add . ？ 最佳答案 此答案仅适用于 Git 版本 1.x。对于 Git 版本 2.x，请参阅其他答案。 总结: git ad
我刚刚安装了最新的 Wix v3.7。我创建了一个 VS 2010“Excel 2010 加载项”项目，并在同一个解决方案中创建了一个 Wix“安装项目”。 问题是，当我尝试从 Wix 项目中引用 A
YUI.add 和 YUI().add 有什么区别？ 最佳答案 在第一种情况下，您要注册一个模块可以加载到 YUI 沙箱中，在第二种情况下，您要构建一个沙箱，然后进行注册(这是一种非常不典型的用法)。
测试代码时，任何输入到列表中的值在按下“enter”后都会消失。 我对编程和网络开发非常陌生。请具体一点，以便我理解。 function addItem(){ var item = documen
我正在浏览 python 的 dis 包。我尝试了代码以查看它是如何工作的 >>> def get(): ... x=4 ... y=x+3 ............ this lin
我已经对我的文件夹进行了版本控制 git init git add . git commit -m 'Initial commit' 我应该怎么做 git add 对于我在 .? 中创建的每个新文件
当我执行 $ git add * 时，有时我意识到 git 不会将已删除的文件添加到舞台上，如果删除或添加它，我需要手动指示，但我想不通找出 $ git add --all 有什么区别。因此，如果星号
这个问题在这里已经有了答案: Difference between "git add -A" and "git add ." (12 个答案) 关闭 6 年前。 目前，当我想提交并将内容推送到远程
我是一名优秀的程序员,十分优秀！