java - 如何检索 PostgreSQL 列名并导入到 Matlab 中的结构数据

Question

我正在做一个关于在 Matlab 上查询 PostgreSQL 关系数据的项目。我已按照此示例连接 Matlab 和 PostgreSQL。

% Add jar file to classpath (ensure it is present in your current dir)
javaclasspath('postgresql-9.0-801.jdbc4.jar');

% Username and password you chose when installing postgres
props=java.util.Properties;
props.setProperty('user', '<your_postgres_username>');
props.setProperty('password', '<your_postgres_password>');

% Create the database connection (port 5432 is the default postgres chooses
% on installation)
driver=org.postgresql.Driver;
url = 'jdbc:postgresql://<yourhost>:<yourport>/<yourdb>';
conn=driver.connect(url, props);

% A test query
sql='select * from <table>'; % Gets all records
ps=conn.prepareStatement(sql);
rs=ps.executeQuery();

% Read the results into an array of result structs
count=0;
result=struct;
while rs.next()
    count=count+1;
    result(count).var1=char(rs.getString(2));
    result(count).var2=char(rs.getString(3));
    ...
end

我可以使用 ResultSetMetaData 从 PgResultSet 中获取列名

rsmd = rs.getMetaData();
columnsNumber = rsmd.getColumnCount();
name1 = rsmd.getColumnName(1);
name2 = rsmd.getColumnName(2);

但我无法将其设置为查询结果

while rs.next()
    count=count+1;
    result(count).var1=char(rs.getString(2));
    result(count).var2=char(rs.getString(3));
    ...
end

var1 和 var2 显示为结构数据结果中的列名，当我分配变量 name1 和 name2 时，它仍然显示“name1”和“name2”以替换“var1”和“var2”在结构结果上，而不是我在变量 name1 和 name2 中设置的 PostgreSQL 的列名。

先谢谢你!

Answer 1

与您的代码有关的是，它应该只是稍微固定一下以执行您想要的操作。修改后的代码如下:

while rs.next()
    count=count+1;
    result(count).(name1)=char(rs.getString(2));
    result(count).(name2)=char(rs.getString(3));
    ...
end

问题出在动态字段引用中，即当您通过将其名称放入字符串变量中来引用某个字段时，这是通过符号 .() 完成的。 .有关动态字段引用的更多详细信息，请参阅 Loren Shure 在博客“Loren on the Art of Matlab”上发表的“使用动态字段引用”一文。

但我想指出，据我所知，使用 JDBC 作为 PostgreSQL 的连接器仅适用于这种情况当您必须导入/导出数量相当有限且只有标量类型(标量数字、逻辑、字符串、时间戳等)的数据时。如果你要处理比较复杂的类型(比如数组)或者数据量比较大(大约 1Gb)，JDBC 就不再高效了(不是说在某些情况下几乎无法使用)。恕我直言，对于这种情况，有一种更有效、更方便的方法来解决您的两个问题(检索列名和以 Matlab 结构的形式导入数据)。即，您可以使用 PgMex为了这些目的。您上面的代码可以这样转换(我们假设下面所有用<>标记的参数都正确填充并且相应的表存在于各自的数据库中):

% Create the database connection
dbConn=com.allied.pgmex.pgmexec('connect',[...
    'host=<yourhost> dbname=<yourdb> port=<yourport> '...
    'user=<your_postgres_username> password=<your_postgres_password>']);

% A test query
sql='select * from <table>'; % Gets all records
pgResult=com.allied.pgmex.pgmexec('exec',dbConn,sql); % Perform this test query

要获取列名，您需要执行以下代码:

nFields=com.allied.pgmex.pgmexec('nFields',pgResult);
fieldNameCVec=cell(nFields,1);
for iField=1:nFields
    fieldNameCVec{iField}=com.allied.pgmex.pgmexec('fName',pgResult,iField-1);
end

最后，要将这些结果放入一个结构中，您需要执行以下操作:

% Read the results
outCVec=cell(nFields,1);
fieldSpecStr='%<field_type_1> %<field_type_2> ...';
inpCVec=num2cell(0:nFields-1);
[outCVec{:}]=com.allied.pgmex.pgmexec('getf',pgResult,...
    fieldSpecStr,inpCVec{:});
% Get only values ignoring NULLs (if NULLS are not to be ignored, the code
% should be improved by taking into accout not only valueVec, but
% also isNullVec and isValueNull being indicators of NULLs)
fieldValCVec=cellfun(@(SFieldValInfo)SFieldValInfo.valueVec,...
    outCVec,'UniformOutput',false);
SResult=struct(transpose([fieldNameCVec(:) fieldValCVec(:)]));

命令输入输出参数的格式 getf (包括 fieldSpecStr )请参阅 PgMex 网站上的文档。应该注意的是，检索所有元组的字段值一次命令调用(而不是您在自己的代码中使用的循环)而且它完成得非常快(大约 3.5 倍比通过 Matlab Database Toolbox 完成的相同操作更快如末尾所述，通过直接 JDBC 连接工作 "Performance comparison of PostgreSQL connectors in Matlab" article ).而且您不需要以某种方式转换这些值，所有这些都以 Matlab 友好的 native 方式完成(以矩阵的形式，多维数组、结构和任意其他 Matlab 格式)。

每个特定字段的所有值都由上面的代码放入SResult 结构的各个字段简单地作为一个数组，其第一维的大小与元组的数量一致检索。如果您想在单独的文件中获得每个单独元组的结果结构，您可以使用以下代码:

fieldValCVec=cellfun(@(valueVec)num2cell(valueVec,[2 ndims(valueVec)]),...
    fieldValCVec,'UniformOutput',false);
tupleFieldValCMat=transpose(horzcat(fieldValCVec{:}));
SResultCVec=cellfun(@(tupleFieldValCVec)struct(...
    transpose([fieldNameCVec(:) tupleFieldValCVec(:)])),...
    num2cell(tupleFieldValCMat,1),'UniformOutput',false);
SResultVec=vertcat(SResultCVec{:});

编辑:PgMex 的学术许可都是免费的。