- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在从 Google Biqquery 中的查询中提取数据。我正在通过 python 脚本连接到 Google API,在 python 脚本中执行查询并将查询结果写入 CSV 文件。当我从脚本执行查询示例数据(100 行)时,一切看起来都很好。但是当我对整个数据执行脚本时,它失败了。
UnicodeEncodeError: 'ascii' 编解码器无法对位置 38 中的字符 u'\xe7' 进行编码:序号不在范围内 (128)
我看到这是一个 python 错误,但是当脚本试图处理具有非英文字符的记录时会发生这种情况。我在 Hive 中遇到了同样的问题,但我通过使用下面给出的 RLIKE 函数解决了这个问题
(CASE WHEN FIELD1 not rlike '[^a-zA-Z()\\|\\d\\s\\(_)\\-\\(/):]' THEN FIELD1 ELSE 'data' END) AS FIELD1
Google BigQuery 中是否有类似的方法或功能来查找和替换非英文字符?或者,这可以在 python 脚本中处理吗?
代码片段:
job_id, _results = MY_CLIENT.query("""select FIELD1, FIELD2, FIELD3, FIELD4 FROM TABLE1""", use_legacy_sql=True)
complete, row_count = MY_CLIENT.check_job(job_id)
results = MY_CLIENT.get_query_rows(job_id)
outfile = open('C:\\Users\\test.csv', 'w')
for row in results:
for key in row.keys():
if key == 'FIELD4':
outfile.write("%s" %str(row[key]))
else:
outfile.write("%s," %str(row[key]))
outfile.write("\n")
outfile.close()
在此先感谢您的帮助!
最佳答案
您可以使用下面的命令来删除非 ascii 字符
REGEXP_REPLACE(field1, r'([^\p{ASCII}]+)', '')
下面是一个例子,你可以试试看它是如何工作的
#standardSQL
WITH `project.dataset.table` AS (
SELECT '12 - Table - Стол - test' AS field1 UNION ALL
SELECT '23 - Table - الطاولة' UNION ALL
SELECT '34 - Table - שולחן'
)
SELECT
REGEXP_REPLACE(field1, r'([^\p{ASCII}]+)', '') AS ascii_only,
field1
FROM `project.dataset.table`
结果
Row ascii_only field1
1 12 - Table - - test 12 - Table - Стол - test
2 23 - Table - 23 - Table - الطاولة
3 34 - Table - 34 - Table - שולחן
关于python - 从 Google BigQuery 中过滤掉或替换非英文字符,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53214993/
我正在编写一个快速的 preg_replace 来从 CSS 中删除注释。 CSS 注释通常有这样的语法: /* Development Classes*/ /* Un-comment me for
使用 MySQL,我有三个表: 项目: ID name 1 "birthday party" 2 "soccer match" 3 "wine tasting evening" 4
我是一名优秀的程序员,十分优秀!