- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
根据我的用例,我试图将数据从s3写入雪花。我的应用程序是用Python / Pyspark编写的,并且在AWS EKS集群上运行。
代码是:
def write_from_audience_parquet_to_snowflake(self):
self.logger.info('write_from_audience_parquet_to_snowflake started')
path = os.path.dirname(os.path.abspath(__file__))
parquet_stage = read_template(path + '/sql/staging_audience_attribute.sql')
input_base_s3 = self.base_input_s3_path.replace("s3a://", "s3://")
self.logger.info("input_base_s3 = {}".format(input_base_s3))
parquet_stage = parquet_stage.render(input_base_s3=input_base_s3, mab_id=self.mab_id,
mab_send_id=self.mab_send_id, access_key=self.aws_access_key,
secret_key=self.aws_secret_key, session_token=self.aws_session_key)
create_table_template = read_template(path + '/sql/create_audience_table.sql')
create_table_sql = create_table_template.render(audience_table=self.audience_table)
upload_stage = read_template(path + '/sql/upload_audience_stage.sql')
upload_stage = upload_stage.render(audience_table=self.audience_table)
try:
self.utilSf.runQuery(self.sfoptions, parquet_stage)
self.utilSf.runQuery(self.sfoptions, create_table_sql)
self.utilSf.runQuery(self.sfoptions, upload_stage)
except Exception as e:
self.logger.exception(e)
raise e
self.logger.info('write_from_audience_parquet_to_snowflake completed successfully')
错误是:
An error occurred while calling z:net.snowflake.spark.snowflake.Utils.runQuery.
: java.lang.NullPointerException
at java.util.Hashtable.put(Hashtable.java:460)
at net.snowflake.spark.snowflake.JDBCWrapper.getConnector(SnowflakeJDBCWrapper.scala:141)
at net.snowflake.spark.snowflake.Utils$.getJDBCConnection(Utils.scala:244)
at net.snowflake.spark.snowflake.Utils$.getJDBCConnection(Utils.scala:249)
at net.snowflake.spark.snowflake.Utils$.runQuery(Utils.scala:391)
at net.snowflake.spark.snowflake.Utils.runQuery(Utils.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
请找到完整的错误日志
here
spark-snowflake_2.11-2.4.10-spark_2.4.jar
snowflake-ingest-sdk-0.9.5.jar
snowflake-jdbc-3.6.15.jar
最佳答案
尝试连接到Snowflake时发生错误。我建议检查“self.sfoptions”中的值,以确保正确指定了所有必需的选项。下面是一个示例:
sfOptions = {
"sfURL" : "<account_name>.<cloud_domain>",
"sfAccount" : "<account_name>",
"sfUser" : "<user_name>",
"sfPassword" : "<password>",
"sfDatabase" : "<database>",
"sfSchema" : "<schema>",
"sfWarehouse" : "<warehouse>",
}
关于python - z:net.snowflake.spark.snowflake.Utils.runQuery。 :java.lang.NullPointerException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60768759/
我在一个C++程序中找到了一段代码,好像每隔for()循环两次。在这个程序中循环,但为什么在这样的预处理器定义中需要第三个 for 呢? #define for for(int z=0;z<2;++z
我正在尝试分割其中有一个小写字母后跟一个大写字母的文本。 假设文本是: “Įvairių rūšiųSkinti kardeliai” 我想在“ųS”处拆分它,但是以下正则表达式“[ą-ž][Ą-Ž]
这个问题在这里已经有了答案: Reference - What does this regex mean? (1 个回答) 关闭 2 年前。 下面的正则表达式有什么区别。对我来说,它们都是一样的 [
我正在尝试用 Java 编写一个正则表达式: "/[A-Z]{6}-[A-Z]{4}-[A-Z]{4}/" 但是它不起作用。例如 "AASAAA-AAAA-AAAA".matches("/[A-Z]{
我需要确定一个字符串是否是一个变量标识符。 即(a-z,A-Z,,$) 后跟 (a-z,A-Z,0-9,,$) 我知道我可以使用手动配置的 reg exp 来完成它,但必须有一个更紧凑的内置函数我可以
早上好,我是新来的,我带来了一个小问题。我无法针对以下问题开发有效的算法:我需要找到三个正数 x、y 和 z 的组合,以便 x + y、x - y、y + z、y - z、x + z 和 x - z
这个问题已经有答案了: How does the ternary operator work? (12 个回答) 已关闭 6 年前。 我发现了一种不同的返回值的方式,并且很兴奋。它到底是什么意思? 如
我需要以下正则表达式,允许 [a-zA-Z]+ 或 [a-zA-Z]+[ \\-]{0,1}[a-zA-Z]+ 所以我想在 a-zA-Z 字符之间允许无限的减号和空格 示例: sdfsdfdsf-sf
我正在编写一个代码,它以“代码”(编码理论)作为输入,并且我已经计算了它的权重枚举器。我想使用 MacWilliams Identity 找到双代码的权重枚举器. 我有W(z) ,代码的权重枚举器,我
我已经编写了一个 child 文字游戏,现在我正在尝试优化性能。游戏以一种特殊的方式从数据库中挑选关键词,我想做得更好。 给定一个按字母数字排序的 MySQL 关键字字段: keyword s
假设一个字符串是abc/xyz/IMPORTANT/DATA/@#!%@!%,我只想要IMPORTANT/DATA/!%#@%!#% 我对正则表达式很烂,而且真的还没学过 JavaScript API
JS代码: ? 1
大家晚上好我想知道有没有更快的方法来生成以下形式的列表? [a,b,c,…,z] → [[z], [y,z], [x,y,z], … , [a,b,…,y,z]] 我知道切片是最好的方法之一,但没有更
我在 Firefox 和其他浏览器上遇到嵌套 z-index 的问题,我有一个 div,z-index 为 30000,位于 label 下方> zindex 为 9000。我认为这是由 z-inde
我正在尝试制作一个灯泡。这是代码 JSfiddle HTML 查询 $('.button').click(function() { $('#add').show();
在您想将嵌套模块导入命名空间的情况下,我总是这样写: from concurrent import futures 不过,我最近意识到这也可以使用“as”语法来表达。请参阅以下内容: import c
我正在尝试创建一个基本上复制 matlab 命令的函数:[z;-z] 其中 z = randn(m,n) 返回一个 m -by-n 随机条目矩阵。我能够在 C++ 中为下面的 randn 函数创建一个
好吧,我迷失在这些指针中,有人能准确地告诉我 char * x,y,z; 和 char* x,y,z 之间的区别是什么; 和 char (*)x,y,z; ?如果可以,请为您的答案或其他内容提供资源。
这是一道函数依赖题。 我知道当 x->yz 然后 x->y 和 x->z 时。但是上面的依赖关系可能吗? 最佳答案 If xy determines z can x determine z and y
我有一个列表列表 nLedgers - 一个 3D 点云: [nodeID, X, Y, Z] 多行。一些节点将具有相同的 X 和 Y 坐标以及不同的 Z 坐标。 我想首先确定具有相同 X 和 Y 坐
我是一名优秀的程序员,十分优秀!