Python 笔记本 - 导入带有两个字符分隔符的数据文件会导致错误

Question

问题:将具有两个字符分隔符的数据文件加载到 Azure SQL Db 时，我们遇到以下错误。我们可能做错了什么以及如何解决这个问题？

在 Azure Databricks 中使用 Python 笔记本，我们正在尝试将数据文件加载到 Azure SQL Db 。数据文件中的分隔符有两个字符~*。在以下代码中，我们得到如下所示的错误:

pandas dataframe low memory not supported with the 'python' engine

代码:

import sqlalchemy as sq
import pandas as pd

data_df = pd.read_csv('/dbfs/FileStore/tables/MyDataFile.txt', sep='~*', engine='python', low_memory=False, quotechar='"', header='infer' , encoding='cp1252')
.............
.............

备注:如果我们删除 low_memory 选项，则会出现以下错误。尽管对于比该文件更大但具有单个字符分隔符的其他数据文件，我们不会收到以下错误。

ConnectException: Connection refused (Connection refused)Error while obtaining a new communication channelConnectException error: This is often caused by an OOM error that causes the connection to the Python REPL to be closed. Check your query's memory usage.

Answer 1

来自 Pandas.read_csv() 的文档:

In addition, separators longer than 1 character and different from '\s+' will be interpreted as regular expressions and will also force the use of the Python parsing engine.

由于它被解释为正则表达式，并且 * 在正则表达式中具有特殊含义，因此您需要对其进行转义。使用sep=r'~\*'