个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
我们有一个应用程序可以获取实时数据并将其插入数据库。它每天在线4.5小时。我们在 17 个表中逐秒插入数据。用户可以随时查询任意一张表，获取最新的秒数据和历史上的一些记录...
使用 C# 控制台应用程序处理提要和插入...
处理用户请求是通过 WCF 服务完成的...
我们发现插入是我们的瓶颈；大部分时间都花在那里。我们花了很多时间尝试微调表格和索引，但结果并不令人满意
假设我们有足够的内存，将数据插入内存而不是数据库的最佳做法是什么。目前我们正在使用每秒更新和插入的数据表我们的一位同事建议在 feed-handler 和 WCF user-requests-handler 之间使用另一个 WCF 服务而不是数据库。 WCF 中间层应该是基于 TCP 的，它将数据保存在自己的内存中。有人可能会说，提要处理程序可能会处理用户请求，而不是在两个进程之间设置一个中间层，但是我们希望将事情分开，因此如果提要处理程序崩溃，我们仍然希望能够为用户提供当前记录
我们时间有限，想在短时间内把所有的东西都搬进内存里。在 2 个进程中间使用 WCF 是一件坏事吗？我知道请求会增加一些开销，但是所有这 3 个进程(feed-handler、内存数据库 (WCF)、用户请求处理程序 (WCF) 都将在同一台机器上，带宽不会那么多一个问题。
请协助!
最佳答案
我会研究创建数据缓存(这样您还可以减少数据库选择)，并在数据写入数据库后使缓存中的数据无效。这样，您可以批量调用以执行较大的插入而不是许多较小的插入，但将数据保留在内存中以便读者可以读取它。实际上，如果您知道数据何时会过时，就可以避免完全读取数据库并将其用作后备存储 - 这样，数据库性能只会影响缓存的大小。
使缓存中的数据失效将取决于它是写入数据库还是已过时，以最后而不是最先出现为准。
缓存层不需要很复杂，但是它应该是多线程的来承载数据并在后台保存数据。该层将位于 WCF 服务(连接介质)的后面，WCF 服务应该改进以包含控制台应用程序的逻辑 + 批处理理念。然后控制台应用程序可以连接到 WCF 并向其抛出结果。
更新:唯一要说的是投资分析器，看看您是否在被屏蔽的代码中引入了任何性能问题。此外，分析您的数据库。您提到您需要快速插入和选择 - 不幸的是，它们通常会相互权衡......
关于wcf - 从内存中插入和查询数据的最佳实践，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3178628/
27
4
0
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训
本文分享自华为云社区《五大基础算法--动态规划法》，作者： 大金（内蒙的）。 一、基本概念 动态规划法，和分治法极其相似。区别就是，在求解子问题时，会保存该子问题的解，后面的子问题求解时，可以直接拿来
pip install scp pip install pexpect 测试代码： import os import stat import paramiko # 用于调用scp命令 def s
我目前正在实现“ token ”REST 服务。 token 只是一个字符串，由一些参数构建而成，然后经过哈希处理并在一定时间后过期。 我想在我的 REST 服务中有一个可以验证 token 的端点，
打开软删除后，我在客户端上添加一条记录，推送，删除添加的记录推送，然后尝试使用与初始记录相同的主键添加新记录(然后推送)，我得到一个异常(exception)。 EntityDomainManager
打开软删除后，我在客户端上添加一条记录，推送，删除添加的记录推送，然后尝试使用与初始记录相同的主键添加新记录(然后推送)，我得到一个异常(exception)。 EntityDomainManager
我有一个应用程序，每 x 秒接收一次天气信息。我想将此数据保存到 XML 文件中。 我应该为每个天气通知创建一个新的 XML 文件，还是将每个通知附加到同一个 XML 文件中？我不确定 XML 标准的
我猜我们大多数人都必须在某个时候处理这个问题，所以我想我会问这个问题。 当您的 BLL 中有很多集合并且您发现自己一遍又一遍地编写相同的旧内联(匿名)谓词时，显然有必要进行封装，但实现封装的最佳方
我有一些 c# 代码已经运行了一段时间了..我不得不说，虽然我了解 OO 原则的基础知识，但显然有不止一种方法可以给猫剥皮(尽管我讨厌那个短语!)。 因此，我有一个基本抽象类作为基本数据服务类，如下所
我设计了一个 SQL 数据库系统(使用 Postgre)，我有一个问题，即创建一个关系/引用的常见做法是什么，这种关系/引用即使在引用的对象被删除时也能持续存在。 比如有一个UserORM，还有Act
我们的目标是搜索用户输入的字符串并计算在其中找到多少元音。不幸的是我被困在这里，有什么帮助吗？ def numVowels(s): vowels= "AEIOUaeiou" if s
我有一个适用于我的“items”int 数组的旋转函数。下面的代码完成了它，除了我不必要地传输值。我正在努力实现“就地”轮换。我的意思是 ptrs 会递增或递减，而不是从数组中获取值。我需要通过这种方
我有一个 json 存储在我的应用程序文档文件夹中，我需要在我的所有 View 中使用它。我正在加载 json 并将其添加到每个 View 中的 NSMutableArray。但现在我了解到，我可以将
我用 C++ 开始了一个项目。这种语言的内存管理对我来说是新的。 我过去常常使用 new () 创建对象，然后传递指针，虽然它可以工作，但调试起来很痛苦，人们看到代码时会用有趣的眼神看着我。我为它没有
已结束。 这个问题是 off-topic .它目前不接受答案。 想要改进这个问题？ Update the question所以它是on-topic堆栈溢出。 关闭 10 年前。 Improve thi
保持类松散耦合是编写易于理解、修改和调试的代码的一个重要方面——我明白这一点。然而，作为一个新手，几乎任何时候我都会超越我所苦苦挣扎的最简单的例子。 我或多或少地了解如何将字符串、整数和简单数据类型封
我发现我需要编写大量重复代码，因为我无法从其他 Controller 调用函数。例如，这里新闻提要内容在我的代码中重复，我对一个 Controller 做一些特定的事情，然后需要像这样加载我的新闻提要
假设需要一种数字数据类型，其允许值在指定范围内。更具体地说，假设要定义一个整数类型，其最小值为0，最大值为5000。这种情况在很多情况下都会出现，例如在对数据库数据类型，XSD数据类型进行建模时。 在
假设我想循环整个数组来访问每个元素。使用 for 循环、for...in 循环或 for...of 循环是 JavaScript 开发人员的标准做法吗？ 例如: var myArray = ["app
我有一个旧的 SL4/ria 应用程序，我希望用 Breeze 取代它。我有一个关于内存使用和缓存的问题。我的应用程序加载工作列表(一个典型的用户可以访问大约 1,000 个这些工作)。此外，还有很多
我是一名优秀的程序员,十分优秀！