database - Mule:将 470.000 条记录插入 Salesforce，每次迭代仅允许 200 条记录

Question

我在 mule 中有一个流，它从数据库中获取大约 470.000 条记录的所有记录。我必须将这些记录放入 salesforce 中。 Salesforce 每次迭代只允许我插入 200 条记录!不幸的是，我无法在一个数据库调用中获取所有这些记录，它会使机器内存过载。所以我的想法是在 Mule 中使用“foreach”组件来继续循环，直到我从数据库调用中获得的记录少于 200 条。

这些是如何实现的？

我的配置流程在这里:

<foreach batchSize="200" doc:name="For Each" counterVariableName="foreachCount">
        <jdbc-ee:outbound-endpoint exchange-pattern="request-response" queryKey="select200records" queryTimeout="-1" connector-ref="postgresConnector" doc:name="Database">
            <jdbc-ee:query key="select200records" value="select * from parties limit 200 offset #[variable:offset]"/>
        </jdbc-ee:outbound-endpoint>
        <set-variable variableName="dbPayload" value="#[payload]" doc:name="Variable"/>
        <scripting:component doc:name="Script">
            <scripting:script engine="jython"><![CDATA[result = len(payload)]]></scripting:script>
        </scripting:component>
....

Answer 1

Salesforce 有多种批处理 API 限制

数据加载的批处理可以包含单个 CSV 或 XML 文件，该文件不能大于 10 MB。

• 一个批处理最多可包含 10,000 条记录。
• 对于一个批处理中的所有数据，一个批处理最多可以包含 10,000,000 个字符。
• 一个字段最多可以包含 32,000 个字符。
• 一条记录最多可以包含 5,000 个字段。
• 一条记录的所有字段最多可以包含 400,000 个字符。
• 批处理必须包含一些内容，否则会发生错误。

如果您使用 mule salesforce 连接器，我记得有一个批量选项允许超过默认批量大小。