java - 使用 mysql 分割 .csv 文件

Question

我有一个包含 100k 行的 .csv 文件，我使用 mysql 生成该文件。我想将该文件拆分为每个文件包含 3k 行的较小文件。我如何使用 mysql 或 java 来做到这一点？哪个更快？我在java中找到了解决方案，但使用缓冲区读取器和缓冲区写入器需要O(n^2)。

提前致谢。

Answer 1

使用 java，您可以拆分文件下面的示例使用 java 拆分文件。我更喜欢使用我们在我们的

中使用的 unix 脚本

public static void main(String[] args) throws IOException {

        String src="C:\\Users\\sahug\\Downloads\\split\\dumps.txt";
        String dest="C:\\Users\\sahug\\Downloads\\split\\";
        String fileName="MyFile";
        FileInputStream fis = new FileInputStream(str);
        int size = 20;
        byte buffer[] = new byte[size];

        int count = 0;
        while (true) {
            int i = fis.read(buffer, 0, size);
            if (i == -1)
                break;

            String filename = fileName + count;
            FileOutputStream fos = new FileOutputStream(dest+filename);
            fos.write(buffer, 0, i);
            fos.flush();
            fos.close();

            ++count;
        }
    }