- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
使用嵌入式数据库的最佳方式是什么,例如 Python 中的 sqlite:
该用法不是 Web 应用程序。这是一个最多可容纳 5 个表的小型数据库。每个表中的数据只是几个字符串列。想想比腌制字典更大的东西
更新:非常感谢您的宝贵建议。
我正在谈论的用例非常简单。您可能会在一两天内完成。
这是一个 100 多行的 Python 脚本,它收集有关大量文件(比如 10k)的数据,并创建有关它们的元数据文件,然后创建一个有关整个文件树的大型元数据文件。我只需要避免重新处理已经处理过的文件,为更新的文件创建元数据,并更新主元数据文件。在某种程度上,缓存处理过的数据,并且只在文件更新时更新它。如果缓存损坏/不可用,则只需处理整棵树。这可能需要 20 分钟,但没关系。
请注意,所有处理都是在内存中完成的。
我想避免任何外部依赖,这样脚本就可以很容易地放在任何只安装了 Python 的系统上。作为 Windows,有时很难安装所有组件。所以,在我看来,即使是数据库也可能有点矫枉过正。
您可能不会启动 Office Word/Writer 来写一个小帖子类型注释,同样地,我不愿意在这个用例中使用 Django 之类的东西。
从哪里开始?
最佳答案
我强烈推荐使用好的 ORM。当您可以使用 Python 对象来管理数据库行时,生活会变得更加轻松。
我是 Django 中 ORM 的粉丝。但这已经被推荐了,你说那太重量级了。
这给我留下了一个值得推荐的 ORM:Autumn .非常轻量级,与 SQLite 配合得很好。如果您的嵌入式应用程序将是多线程的,那么您绝对需要 Autumn;它具有支持多线程 SQLite 的扩展。 (完全披露:我编写了这些扩展并贡献了它们。我在为 RealNetworks 工作时编写了它们,我的老板允许我捐赠它们,因此公开感谢 RealNetworks。)
Autumn 是用纯 Python 编写的。对于 SQLite,它使用 Python 官方 SQLite 模块来执行实际的 SQL 操作。 Autumn 本身的内存占用很小。
我不推荐 APSW。以我的拙见,它并没有真正帮助你。它只是提供了一种执行 SQL 语句的方法,而让您掌握 SQL 的处理方式。此外,它支持 SQLite 的每一个功能,甚至是您很少使用的功能,因此它实际上比 Autumn 占用更大的内存,而且使用起来也不那么容易。
关于python 数据库/sql 编程 - 从哪里开始,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1407248/
我正在尝试打印 timeval 类型的值。实际上我可以打印它,但我收到以下警告: 该行有多个标记 格式“%ld”需要“long int”类型,但参数 2 的类型为“struct timeval” 程序
我正在编写自己的 unix 终端,但在执行命令时遇到问题: 首先,我获取用户输入并将其存储到缓冲区中,然后我将单词分开并将它们存储到我的 argv[] 数组中。IE命令是“firefox”以启动存储在
我是 CUDA 的新手。我有一个关于一个简单程序的问题,希望有人能注意到我的错误。 __global__ void ADD(float* A, float* B, float* C) { con
我有一个关于 C 语言 CGI 编程的一般性问题。 我使用嵌入式 Web 服务器来处理 Web 界面。为此,我在服务器中存储了一个 HTML 文件。在此 HTML 文件中包含 JavaScript 和
**摘要:**在代码的世界中,是存在很多艺术般的写法,这可能也是部分程序员追求编程这项事业的内在动力。 本文分享自华为云社区《【云驻共创】用4种代码中的艺术试图唤回你对编程的兴趣》,作者: break
我有一个函数,它的任务是在父对象中创建一个变量。我想要的是让函数在调用它的级别创建变量。 createVariable testFunc() [1] "test" > testFunc2() [1]
以下代码用于将多个连续的空格替换为1个空格。虽然我设法做到了,但我对花括号的使用感到困惑。 这个实际上运行良好: #include #include int main() { int ch, la
我正在尝试将文件写入磁盘,然后自动重新编译。不幸的是,某事似乎不起作用,我收到一条我还不明白的错误消息(我是 C 初学者 :-)。如果我手动编译生成的 hello.c,一切正常吗?! #include
如何将指针值传递给结构数组; 例如,在 txt 上我有这个: John Doe;xxxx@hotmail.com;214425532; 我的代码: typedef struct Person{
我尝试编写一些代码来检索 objectID,结果是 2B-06-01-04-01-82-31-01-03-01-01 . 这个值不正确吗? // Send a SysObjectId SNMP req
您好,提前感谢您的帮助, (请注意评论部分以获得更多见解:即,以下示例中的成本列已添加到此问题中;西蒙提供了一个很好的答案,但成本列本身并未出现在他的数据响应中,尽管他提供的功能与成本列一起使用) 我
我想知道是否有人能够提出一些解决非线性优化问题的软件包的方法,而非线性优化问题可以为优化解决方案提供整数变量?问题是使具有相等约束的函数最小化,该函数受某些上下边界约束的约束。 我已经在R中使用了'n
我是 R 编程的初学者,正在尝试向具有 50 列的矩阵添加一个额外的列。这个新列将是该行中前 10 个值的平均值。 randomMatrix <- generateMatrix(1,5000,100,
我在《K&R II C 编程 ANSI C》一书中读到,“>>”和“0; nwords--) sum += *buf++; sum = (sum >>
当下拉列表的选择发生变化时,我想: 1) 通过 div 在整个网站上显示一些 GUI 阻止覆盖 2)然后处理一些代码 3) 然后隐藏叠加层。 问题是,当我在事件监听器函数中编写此逻辑时,将执行 onC
我正在使用 Clojure 和 RESTEasy 设计 JAX-RS REST 服务器. 据我了解,用 Lisp 系列语言编写的应用程序比用“传统”命令式语言编写的应用程序更多地构建为“特定于领域的语
我目前正在研究一种替代出勤监控系统作为一项举措。目前,我设计的用户表单如下所示: Time Stamp Userform 它的工作原理如下: 员工将选择他/她将使用的时间戳类型:开始时间、超时、第一次
我是一名学生,试图自学编程,从在线资源和像您这样的人那里获得帮助。我在网上找到了一个练习来创建一个小程序来执行此操作: 编写一个程序,读取数字 a 和 b(长整型)并列出 a 和 b 之间有多少个数字
我正在尝试编写一个 shell 程序,给定一个参数,打印程序的名称和参数中的每个奇数词(即,不是偶数词)。但是,我没有得到预期的结果。在跟踪我的程序时,我注意到,尽管奇数词(例如,第 5 个词,5 %
只是想知道是否有任何 Java API 可以让您控制台式机/笔记本电脑外壳上的 LED? 或者,如果不可能,是否有可能? 最佳答案 如果你说的是前面的 LED 指示电源状态和 HDD 繁忙状态,恐怕没
我是一名优秀的程序员,十分优秀!