database - 如何使用 R DBI 的 dbWriteTable() 将二进制数据写入 SQLite？

Question

例如，如何执行等效的以下 SQL(插入 BINARY(16) 字段)

INSERT INTO Table1 (MD5) VALUES (X'6717f2823d3202449201145073ab871A'),(X'6717f2823d3202449301145073ab371A')

使用 dbWriteTable()？做

dbWriteTable(db, "Table1", data.frame(MD5 = "X'6717f2823d3202449201145073ab871A'", ...), append = T, row.names = F)

似乎不起作用 - 它将值写入文本。

最后，我将拥有一个大的 data.frame 的散列，我想写，非常适合使用 dbWriteTable。但我只是不知道如何将 data.frameINSERT 到 binary 数据库字段中。

Answer 1

所以这里有两种似乎可行的可能性。第一个在循环中使用 dbSendQuery(...)(您可能已经想到了...)。

db.WriteTable = function(con,table,df) {  # no error checking whatsoever...
  require(DBI)
  field <- colnames(df)[1] 
  for (i in 1:nrow(df)) {
    query <- sprintf("INSERT INTO %s (%s) VALUES (X'%s')",table,field,df[i,1])
    rs    <- dbSendQuery(con,statement=query)
  }
  return(nrow(df))
}

library(DBI)
drv <- dbDriver("SQLite")
con <- dbConnect(drv)
rs  <- dbSendQuery(con, statement="CREATE TABLE hash (MD5 BLOB)")

df  <- data.frame(MD5=c("6717f2823d3202449201145073ab871A",
                        "6717f2823d3202449301145073ab371A"))

rs       <- db.WriteTable(con,"hash",df)
result.1 <- dbReadTable(con,"hash")
result.1
#                                                              MD5
# 1 67, 17, f2, 82, 3d, 32, 02, 44, 92, 01, 14, 50, 73, ab, 87, 1a
# 2 67, 17, f2, 82, 3d, 32, 02, 44, 93, 01, 14, 50, 73, ab, 37, 1a

如果您的散列数据框非常大，则 df.WriteFast(...) 仅执行与 db.WriteTable(...) 相同的操作它应该更快。

db.WriteFast = function(con.table,df) {
  require(DBI)
  field <- colnames(df)[1]
  lapply(unlist(df[,1]),function(x){
         dbSendQuery(con,
                     statement=sprintf("INSERT INTO %s (%s) VALUES (X'%s')",
                                        table,field,x))})
}

请注意，result.1 是一个数据框，如果我们在调用 dbWriteTable(...) 时使用它，我们可以成功地将哈希值写入一个 Blob 。所以这是可能的。

str(result.1)
# 'data.frame': 2 obs. of  1 variable:
#  $ MD5:List of 2
#   ..$ : raw  67 17 f2 82 ...
#   ..$ : raw  67 17 f2 82 ...

第二种方法利用 R 的 raw 数据类型来创建结构类似于 result.1 的数据帧，并将其传递给 dbWriteTable(... )。您可能认为这很容易，但事实并非如此。

h2r = function(x) {
  bytes <- substring(x, seq(1, nchar(x)-1, 2), seq(2, nchar(x), 2))
  return(list(as.raw(as.hexmode(bytes))))
}
hash2raw = Vectorize(h2r)

df.raw=data.frame(MD5=list(1:nrow(df)))
colnames(df.raw)="MD5"
df.raw$MD5 = unname(hash2raw(as.character(df$MD5)))
dbWriteTable(con, "newHash",df.raw)
result.2 <- dbReadTable(con,"newHash")
result.2

all.equal(result.1$MD5,result.2$MD5)
# [1] TRUE

在这种方法中，我们创建了一个数据框df.raw，其中有一列MD5，其中每个元素都是原始字节列表。效用函数 h2r(...) 获取散列的字符表示，将其分解为 char(2)(字节)的向量，然后解释每个那些为十六进制(as.hexmode(...))，将结果转换为原始(as.raw(...))，最后返回结果为一个列表。 Vectorize(...) 是一个包装器，它允许 hash2raw(...) 将向量作为其参数。

就个人而言，我认为您最好使用第一种方法:它利用 SQLite 的内部机制将十六进制写入 BLOB，并且更容易理解。