- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用书签功能在 Glue(2.0 版)作业中工作,第二次运行该作业时没有对文件进行任何更改,我收到以下错误消息:
AnalysisException: '\nDatasource does not support writing empty or nested empty schemas.\nPlease make sure the data schema has at least one or more column(s).\n ;'
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
## @type: DataSource
## @args: [database = "raw_dev_edocs", table_name = "esocial_s2200", transformation_ctx = "datasource0"]
## @return: datasource0
## @inputs: []
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "raw_dev_edocs", table_name = "esocial_s2200", transformation_ctx = "datasource0")
## @type: ApplyMapping
## @args: [mapping = [("esocial", "struct", "esocial", "struct"), ("tenant", "string", "tenant", "string"), ("year", "string", "year", "string"), ("month", "string", "month", "string"), ("day", "string", "day", "string")], transformation_ctx = "applymapping1"]
## @return: applymapping1
## @inputs: [frame = datasource0]
applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("esocial", "struct", "esocial", "struct"), ("tenant", "string", "tenant", "string"), ("year", "string", "year", "string"), ("month", "string", "month", "string"), ("day", "string", "day", "string")], transformation_ctx = "applymapping1")
## @type: ResolveChoice
## @args: [choice = "make_struct", transformation_ctx = "resolvechoice2"]
## @return: resolvechoice2
## @inputs: [frame = applymapping1]
resolvechoice2 = ResolveChoice.apply(frame = applymapping1, choice = "make_struct", transformation_ctx = "resolvechoice2")
## @type: DropNullFields
## @args: [transformation_ctx = "dropnullfields3"]
## @return: dropnullfields3
## @inputs: [frame = resolvechoice2]
dropnullfields3 = DropNullFields.apply(frame = resolvechoice2, transformation_ctx = "dropnullfields3")
## @type: DataSink
## @args: [connection_type = "s3", connection_options = {"path": "s3://senior-datalake-stage/dev/edocs/S2200test"}, format = "parquet", transformation_ctx = "datasink4"]
## @return: datasink4
## @inputs: [frame = dropnullfields3]
datasink4 = glueContext.write_dynamic_frame.from_options(frame = dropnullfields3, connection_type = "s3", connection_options = {"path": "s3://senior-datalake-stage/dev/edocs/S2200test"}, format = "parquet", transformation_ctx = "datasink4")
job.commit()
Column name
Data type
Key
Comment
1
tenant
string
Partition (0)
2
year
string
Partition (1)
3
month
string
Partition (2)
4
day
string
Partition (3)
5
esocial.xmlns
string
6
esocial.evtadmissao.id
string
7
esocial.evtadmissao.ideevento.indretif
string
8
esocial.evtadmissao.ideevento.tpamb
string
9
esocial.evtadmissao.ideevento.procemi
string
10
esocial.evtadmissao.ideevento.verproc
string
11
esocial.evtadmissao.ideevento.nrrecibo
string
12
esocial.evtadmissao.ideempregador.tpinsc
string
13
esocial.evtadmissao.ideempregador.nrinsc
string
14
esocial.evtadmissao.trabalhador.cpftrab
string
15
esocial.evtadmissao.trabalhador.nistrab
string
16
esocial.evtadmissao.trabalhador.nmtrab
string
17
esocial.evtadmissao.trabalhador.sexo
string
18
esocial.evtadmissao.trabalhador.racacor
string
19
esocial.evtadmissao.trabalhador.estciv
string
20
esocial.evtadmissao.trabalhador.grauinstr
string
21
esocial.evtadmissao.trabalhador.nascimento.dtnascto
string
22
esocial.evtadmissao.trabalhador.nascimento.codmunic
string
23
esocial.evtadmissao.trabalhador.nascimento.uf
string
24
esocial.evtadmissao.trabalhador.nascimento.paisnascto
string
25
esocial.evtadmissao.trabalhador.nascimento.paisnac
string
26
esocial.evtadmissao.trabalhador.nascimento.nmmae
string
27
esocial.evtadmissao.trabalhador.nascimento.nmpai
string
28
esocial.evtadmissao.trabalhador.documentos.ctps.nrctps
string
29
esocial.evtadmissao.trabalhador.documentos.ctps.seriectps
string
30
esocial.evtadmissao.trabalhador.documentos.ctps.ufctps
string
31
esocial.evtadmissao.trabalhador.documentos.rg.nrrg
string
32
esocial.evtadmissao.trabalhador.documentos.rg.orgaoemissor
string
33
esocial.evtadmissao.trabalhador.documentos.rg.dtexped
string
34
esocial.evtadmissao.trabalhador.documentos.rne.nrrne
string
35
esocial.evtadmissao.trabalhador.documentos.rne.orgaoemissor
string
36
esocial.evtadmissao.trabalhador.documentos.rne.dtexped
string
37
esocial.evtadmissao.trabalhador.endereco.brasil.tplograd
string
38
esocial.evtadmissao.trabalhador.endereco.brasil.dsclograd
string
39
esocial.evtadmissao.trabalhador.endereco.brasil.nrlograd
string
40
esocial.evtadmissao.trabalhador.endereco.brasil.bairro
string
41
esocial.evtadmissao.trabalhador.endereco.brasil.cep
string
42
esocial.evtadmissao.trabalhador.endereco.brasil.codmunic
string
43
esocial.evtadmissao.trabalhador.endereco.brasil.uf
string
44
esocial.evtadmissao.trabalhador.endereco.brasil.complemento
string
45
esocial.evtadmissao.trabalhador.infodeficiencia.deffisica
string
46
esocial.evtadmissao.trabalhador.infodeficiencia.defvisual
string
47
esocial.evtadmissao.trabalhador.infodeficiencia.defauditiva
string
48
esocial.evtadmissao.trabalhador.infodeficiencia.defmental
string
49
esocial.evtadmissao.trabalhador.infodeficiencia.defintelectual
string
50
esocial.evtadmissao.trabalhador.infodeficiencia.reabreadap
string
51
esocial.evtadmissao.trabalhador.infodeficiencia.infocota
string
52
esocial.evtadmissao.trabalhador.contato.foneprinc
string
53
esocial.evtadmissao.trabalhador.contato.fonealternat
string
54
esocial.evtadmissao.trabalhador.contato.emailprinc
string
55
esocial.evtadmissao.trabalhador.contato.emailalternat
string
56
esocial.evtadmissao.trabalhador.dependente.struct.tpdep
string
57
esocial.evtadmissao.trabalhador.dependente.struct.nmdep
string
58
esocial.evtadmissao.trabalhador.dependente.struct.dtnascto
string
59
esocial.evtadmissao.trabalhador.dependente.struct.cpfdep
string
60
esocial.evtadmissao.trabalhador.dependente.struct.depirrf
string
61
esocial.evtadmissao.trabalhador.dependente.struct.depsf
string
62
esocial.evtadmissao.trabalhador.dependente.struct.inctrab
string
63
esocial.evtadmissao.trabalhador.dependente.array
bigint
64
esocial.evtadmissao.trabalhador.indpriempr
string
65
esocial.evtadmissao.trabalhador.trabestrangeiro.dtchegada
string
66
esocial.evtadmissao.trabalhador.trabestrangeiro.classtrabestrang
string
67
esocial.evtadmissao.trabalhador.trabestrangeiro.casadobr
string
68
esocial.evtadmissao.trabalhador.trabestrangeiro.filhosbr
string
69
esocial.evtadmissao.vinculo.matricula
string
70
esocial.evtadmissao.vinculo.tpregtrab
string
71
esocial.evtadmissao.vinculo.tpregprev
string
72
esocial.evtadmissao.vinculo.cadini
string
73
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.dtadm
string
74
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.tpadmissao
string
75
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.indadmissao
string
76
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.tpregjor
string
77
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.natatividade
string
78
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.dtbase
string
79
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.cnpjsindcategprof
string
80
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.fgts.opcfgts
string
81
esocial.evtadmissao.vinculo.inforegimetrab.infoceletista.fgts.dtopcfgts
string
82
esocial.evtadmissao.vinculo.infocontrato.codcargo
string
83
esocial.evtadmissao.vinculo.infocontrato.codcateg
string
84
esocial.evtadmissao.vinculo.infocontrato.remuneracao.vrsalfx
string
85
esocial.evtadmissao.vinculo.infocontrato.remuneracao.undsalfixo
string
86
esocial.evtadmissao.vinculo.infocontrato.duracao.tpcontr
string
87
esocial.evtadmissao.vinculo.infocontrato.duracao.dtterm
string
88
esocial.evtadmissao.vinculo.infocontrato.duracao.clauassec
string
89
esocial.evtadmissao.vinculo.infocontrato.localtrabalho.localtrabgeral.tpinsc
string
90
esocial.evtadmissao.vinculo.infocontrato.localtrabalho.localtrabgeral.nrinsc
string
91
esocial.evtadmissao.vinculo.infocontrato.horcontratual.qtdhrssem
string
92
esocial.evtadmissao.vinculo.infocontrato.horcontratual.tpjornada
string
93
esocial.evtadmissao.vinculo.infocontrato.horcontratual.tmpparc
string
94
esocial.evtadmissao.vinculo.infocontrato.horcontratual.horario
bigint
95
esocial.evtadmissao.vinculo.infocontrato.filiacaosindical.cnpjsindtrab
string
96
esocial.evtadmissao.vinculo.infocontrato.observacoes.observacao
string
97
esocial.evtadmissao.vinculo.afastamento.dtiniafast
string
98
esocial.evtadmissao.vinculo.afastamento.codmotafast
string
最佳答案
我做了一个解决方法来解决这个问题。
if len(dropnullfields3.select('root').toDF().schema) > 0:
datasink4 = glueContext.write_dynamic_frame.from_options(frame = dropnullfields3, connection_type = "s3", connection_options = {"path": "s3://senior-datalake-stage/dev/edocs/S2200test"}, format = "parquet", transformation_ctx = "datasink4")
job.commit()
关于amazon-web-services - 使用作业书签的 AWS Glue 失败并显示 "Datasource does not support writing empty or nested empty schemas",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61103577/
我的Angular-Component位于一个flexbox(id =“log”)中。可以显示或隐藏flexbox。 我的组件内部有一个可滚动区域,用于显示日志消息。 (id =“message-li
我真的很困惑 有一个 phpinfo() 输出: MySQL 支持 启用 客户端 API 版本 5.5.40 MYSQL_MODULE_TYPE 外部 phpMyAdmin 显示: 服务器类型:Mar
我正在研究这个 fiddle : http://jsfiddle.net/cED6c/7/我想让按钮文本在单击时发生变化,我尝试使用以下代码: 但是,它不起作用。我应该如何实现这个?任何帮助都会很棒
我应该在“dogs_cats”中保存表“dogs”和“cats”各自的ID,当看到数据时显示狗和猫的名字。 我有这三个表: CREATE TABLE IF NOT EXISTS cats ( id
我有一个字符串返回到我的 View 之一,如下所示: $text = 'Lorem ipsum dolor ' 我正在尝试用 Blade 显示它: {{$text}} 但是,输出是原始字符串而不是渲染
我无法让我的链接(由图像表示,位于页面左侧)真正有效地显示一个 div(包含一个句子,位于中间)/单击链接时隐藏。 这是我的代码: Practice
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗?更新问题,使其仅关注一个问题 editing this post . 已关闭 4 年前。 Improve this ques
最初我使用 Listview 来显示 oracle 结果,但是最近我不得不切换到 datagridview 来处理比 Listview 允许的更多的结果。然而,自从切换到数据网格后,我得到的结果越来越
我一直在尝试插入一个 Unicode 字符 ∇ 或 ▽,所以它显示在 Apache FOP 生成的 PDF 中。 这是我到目前为止所做的: 根据这个基本帮助 Apache XSL-FO Input,您
我正在使用 node v0.12.7 编写一个 nodeJS 应用程序。 我正在使用 pm2 v0.14.7 运行我的 nodejs 应用程序。 我的应用程序似乎有内存泄漏,因为它从我启动时的大约 1
好的,所以我有一些 jQuery 代码,如果从下拉菜单中选择了带有前缀 Blue 的项目,它会显示一个输入框。 代码: $(function() { $('#text1').hide();
当我试图检查 Chrome 中的 html 元素时,它显示的是 LESS 文件,而 Firefox 显示的是 CSS 文件。 (我正在使用 Bootstrap 框架) 如何在 Chrome 中查看 c
我是 Microsoft Bot Framework 的新手,我正在通过 youtube 视频 https://youtu.be/ynG6Muox81o 学习它并在 Ubuntu 上使用 python
我正在尝试转换从 mssql 生成的文件到 utf-8。当我打开他的输出 mssql在 Windows Server 2003 中使用 notepad++ 将文件识别为 UCS-2LE我使用 file
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它,visit the help center 。 已关
我正在尝试执行单击以打开/关闭一个 div 的功能。 这是基本的,但是,点击只显示 div,当我点击“关闭”时,没有任何反应。 $(".inscricao-email").click(function
假设我有 2 张卡片,屏幕上一次显示一张。我有一个按钮可以用其他卡片替换当前卡片。现在假设卡 1 上有一些数据,卡 2 上有一些数据,我不想破坏它们每个上的数据,或者我不想再次重建它们中的任何一个。
我正在使用 Eloquent Javascript 学习 Javascript。 我在 Firefox 控制台上编写了以下代码,但它返回:“ReferenceError:show() 未定义”为什么?
我正在使用 Symfony2 开发一个 web 项目,我使用 Sonata Admin 作为管理面板,一切正常,但我想要做的是,在 Sonata Admin 的仪表板菜单上,我需要显示隐藏一些菜单取决
我试图显示一个div,具体取决于从下拉列表中选择的内容。例如,如果用户从列表中选择“现金”显示现金div或用户从列表中选择“检查”显示现金div 我整理了样本,但样本不完整,需要接线 http://j
我是一名优秀的程序员,十分优秀!