个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
这可能是一个广泛讨论的话题，但我还没有找到“答案”。我每月都会将大表插入 Azure SQL Server。我用 python 和 Pandas 处理内存中的原始数据。我真的很喜欢 Pandas 的速度和多功能性。
示例 DataFrame 大小 = 520 万行、50 列、分配的 250 MB 内存
将处理后的 Pandas DataFrame 传输到 Azure SQL Server 始终是瓶颈。对于数据传输，我使用了to_sql(与sqlalchemy)。我尝试了 fast_executemany、各种 block 大小等参数。
到目前为止，我发现的最快方法是将 DataFrame 导出到 csv 文件，然后使用 SSMS、bcp、Azure Blob 等将其批量插入到 SQL Server 中。
但是，我正在考虑绕过 csv 文件创建来执行此操作，因为我的 df 已设置所有 dtypes，并且已加载到内存中。
仅使用 python/Pandas 将此 df 传输到 SQL Server 的最快方法是什么？我也对使用二进制文件传输等解决方案感兴趣 - 只要我消除平面文件导出/导入。
谢谢
最佳答案
我遇到了类似的问题，我使用 BCP 实用程序解决了它。瓶颈问题的基本描述是它似乎使用 RBAR 数据输入，如 Row-By-Agonizing-Row 插入，即一个插入语句/记录。采用批量插入路线节省了我很多时间。当我跨过 100 万条以上记录的阈值时，真正的好处似乎就来了，而您似乎已经远远领先了。
Link to utility:https://github.com/yehoshuadimarsky/bcpandas
关于python - Pandas 到 Sql Server 的速度 - python 批量插入？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68654842/
26
4
0
这是我在阅读了几个关于 jpa 批量插入的主题后创建的简单示例，我有 2 个持久对象用户和站点。一个用户可以有多个站点，所以我们在这里有一对多的关系。假设我想创建用户并将多个站点创建/链接到用户帐户。
我有文档列表(对象)，该对象有多个文档，即存在 Json 记录，但是当我尝试上传文档束(记录)时，它没有上传到文档数据库，但当我上传单个文档记录时，它上传成功。 List listObj = ne
我希望进行批量域名查找，看看是否有一些域名可供购买。我找不到 perl 模块，但似乎应该有一种方法可以在 perl 中执行此操作。我正在寻找免费的东西。谢谢! 最佳答案 从这里:http://www.
我制作了一个批处理类来检查 FTP 上的文件、下载它们并在 FTP 上删除它们。 当我手动运行它(不是批量运行)时，它运行完美，下载 FTP 中的所有文件并在下载完成后删除它们。 当我尝试批量运行时，
我有一个 *+* 形式的字符串 base。我想得到+之前的所有内容。例如，如果 base=foo+bar，我想获取 foo。 我尝试过使用字符串替换来实现 set left=%base:+*=% 但这
我需要创建几十个表，并且我需要它们是innodb， 有没有办法做到这一点，而不是将 engine=innodb 附加到每个 create table 语句？ 最佳答案 可以在服务器级别指定默认引擎，在
我正在尝试制作显示 unix/linux 提示符的 dos shell。代码是: @echo off :hi set tmpdrv=%cd:~0,2% if %homedrive% == %tmpdr
我有以下代码，基本上是在二维矩阵的每一行上进行一维卷积。卷积核是一样的。所以真的是 SIMD 案例。 a = [ 1,2,3,4,5; 6,7,8,9,7; 7,6
情况: 我尝试在 shell 中的循环内移动文件，但我的代码无法正常工作。 for /D %%F in (*) do ( if "%%F" NEQ "%directoryToPutFilesIn
目录包含 2 个(或更多)任意名称的视频文件。 video1.mkv video2.mkv 需要找出每个视频的持续时间。为此，我们使用 MediaInfo . setlocal EnableDelay
如何在 Windows 中批量删除数千个文件中的空格(而不是替换为下划线)？我可以从 DOS 命令执行此操作吗？ 目前: file one.mp3 file two.mp3 所有文件需要变成: fil
我想创建一个批处理文件，它读取 2 个不同的值，并根据它们的比较方式进行相应处理。但是，比较永远不会起作用。代码是: REM string1 and string2 contain the follo
我正在尝试将一个文件夹的子文件夹复制到许多其他名称未知的文件夹中。目的是在所有使用它的员工文件夹中备份程序的源文件。如果在员工文件夹中找不到程序文件夹，则不应执行任何操作。这看起来如下: 来源: F:
我正在寻找一种简单的方法来检测一小段文本(几句话)是否为英语。在我看来，这个问题比尝试检测任意语言要容易得多。有没有可以做到这一点的软件？我正在用 python 编写，并且更喜欢 python 库，但
我们正在尝试向 8k 种不同的设备发送促销推送消息。我们正在成功响应推送通知 URL https://fcm.googleapis.com/fcm/send 但只有部分用户收到此通知，并非全部。那么
基本上我只是用这一段来替换我的 var 中的一个字符串，但我无法让嵌套延迟扩展正常工作。这甚至可能吗？ set replace=!replace:!search!=!replaceVal!! 我知道执
如何使用 ffmpeg 对一批视频文件进行编码，使用相同的设置？ 我找到了 one-line solution将当前文件夹中的 .avi 文件转换为 .mov。请注意，我要编码 .mov -> .mo
我正在尝试制作一个批处理文件，每次循环时都会将变量增加 1，然后检查变量是否等于 5，如果不是，则再次循环。我知道这可能有一个 while 循环，但我不知道如何做到这一点，我现在只是享受学习 Batc
我正在尝试创建一个循环，读取多个 CSV 文件，这些文件都具有相同类型的气温数据。但是，我想跳过数据上方的行。这些是数据集中的“警报”。每个文件可能有不同数量的警报，因此要跳过不同数量的行。见下文:
因此，我正在批量创建一个Mail程序，而消息传递部分出现了问题。 消息传递部分是无限循环。 当我输入多个单词时，它会崩溃。 这是代码。请帮忙! :rep set line= set /p line=
我是一名优秀的程序员,十分优秀！