gpt4 book ai didi

Go来合并两个csv的实现示例

转载 作者:qq735679552 更新时间:2022-09-27 22:32:09 25 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Go来合并两个csv的实现示例由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

背景

通常我们处理文件都是用python+pandas,确实很香。但是今天突然有人找我用go写一个合并两个csv文件的,需要将两个csv按id进行合并,大致如下图 。

Go来合并两个csv的实现示例

思路很简单,先读入两个csv文件,然后遍历比较id,如果相同就把另一个文件的内容加到第一个中。然后创建merge.csv,将上一步得到的数据写入csv即可.

代码部分 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
package main
 
import (
  "encoding/csv"
  "log"
  "os"
 
  "fmt"
)
 
func join(filename1 string, filename2 string) (row [][]string) {
  fs1, _ := os.open(filename1)
  r1 := csv.newreader(fs1)
  content1, err := r1.readall()
  if err != nil {
   log.fatalf( "can not readall, err is %+v" , err)
  }
 
  fs2, _ := os.open(filename2)
  r2 := csv.newreader(fs2)
  content2, err := r2.readall()
  if err != nil {
   log.fatalf( "can not readall, err is %+v" , err)
  }
  row = make([][]string, len(content1[1:]))
 
  for i, row1 := range content1[1:] {
   for _, row2 := range content2[1:] {
    if row1[0] == row2[0] {
     row[i] = append(row[i], row1[0], row1[1], row1[2], row2[1], row2[2])
    }
   }
  }
  return
}
 
func edit(filename string, row [][]string) {
  f, err := os.create(filename)
  if err != nil {
   panic(err)
  }
  defer f.close()
 
  //防止乱码
  f.writestring( "\xef\xbb\xbf" )
  w := csv.newwriter(f)
  w.write([]string{ "id" , "name" , "gender" , "course" , "score" })
  w.writeall(row)
  w.flush()
}
 
func main() {
  row := join( "1.csv" , "2.csv" )
  fmt.println(row)
  edit( "join.csv" , row)
  fmt.println( "合并已完成!" )
}

Go来合并两个csv的实现示例

Go来合并两个csv的实现示例

优化

对于小数据量这样是没有问题,但是一旦数据量增大,不仅读取的内存占用增加,而且遍历比较会很消耗时间。所以优化的话我们可以以行读取,并且想办法使用go的goroutine来增加速度。唉,太久没怎么写go了,一开始切片都有点忘了.

到此这篇关于go来合并两个csv的实现示例的文章就介绍到这了,更多相关go合并csv内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。

原文链接:https://juejin.cn/post/7023565419155816455 。

最后此篇关于Go来合并两个csv的实现示例的文章就讲到这里了,如果你想了解更多关于Go来合并两个csv的实现示例的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com