- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
使用嵌入式数据库的最佳方式是什么,例如 Python 中的 sqlite:
该用法不是 Web 应用程序。这是一个最多可容纳 5 个表的小型数据库。每个表中的数据只是几个字符串列。想想比腌制字典更大的东西
更新:非常感谢您的宝贵建议。
我正在谈论的用例非常简单。您可能会在一两天内完成。
这是一个 100 多行的 Python 脚本,它收集有关大量文件(比如 10k)的数据,并创建有关它们的元数据文件,然后创建一个有关整个文件树的大型元数据文件。我只需要避免重新处理已经处理过的文件,为更新的文件创建元数据,并更新主元数据文件。在某种程度上,缓存处理过的数据,并且只在文件更新时更新它。如果缓存损坏/不可用,则只需处理整棵树。这可能需要 20 分钟,但没关系。
请注意,所有处理都是在内存中完成的。
我想避免任何外部依赖,这样脚本就可以很容易地放在任何只安装了 Python 的系统上。作为 Windows,有时很难安装所有组件。所以,在我看来,即使是数据库也可能有点矫枉过正。
您可能不会启动 Office Word/Writer 来写一个小帖子类型注释,同样地,我不愿意在这个用例中使用 Django 之类的东西。
从哪里开始?
最佳答案
我强烈推荐使用好的 ORM。当您可以使用 Python 对象来管理数据库行时,生活会变得更加轻松。
我是 Django 中 ORM 的粉丝。但这已经被推荐了,你说那太重量级了。
这给我留下了一个值得推荐的 ORM:Autumn .非常轻量级,与 SQLite 配合得很好。如果您的嵌入式应用程序将是多线程的,那么您绝对需要 Autumn;它具有支持多线程 SQLite 的扩展。 (完全披露:我编写了这些扩展并贡献了它们。我在为 RealNetworks 工作时编写了它们,我的老板允许我捐赠它们,因此公开感谢 RealNetworks。)
Autumn 是用纯 Python 编写的。对于 SQLite,它使用 Python 官方 SQLite 模块来执行实际的 SQL 操作。 Autumn 本身的内存占用很小。
我不推荐 APSW。以我的拙见,它并没有真正帮助你。它只是提供了一种执行 SQL 语句的方法,而让您掌握 SQL 的处理方式。此外,它支持 SQLite 的每一个功能,甚至是您很少使用的功能,因此它实际上比 Autumn 占用更大的内存,而且使用起来也不那么容易。
关于python 数据库/sql 编程 - 从哪里开始,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1407248/
我的问题是如何在 python 中创建一个简单的数据库。我的例子是: User = { 'Name' : {'Firstname', 'Lastname'}, 'Address' : {'Street
我需要创建一个与远程数据库链接的应用程序! mysql 是最好的解决方案吗? Sqlite 是唯一的本地解决方案吗? 我使用下面的方法,我想知道它是否是最好的方法! NSString *evento
给定两台 MySQL 服务器,一台本地,一台远程。两者都有一个包含表 bohica 的数据库 foobar。本地服务器定义了用户 'myadmin'@'%' 和 'myadmin'@'localhos
我有以下灵活的搜索查询 Select {vt:code},{vt:productcode},{vw:code},{vw:productcode} from {abcd AS vt JOIN wxyz
好吧,我的电脑开始运行有点缓慢,所以我重置了 Windows,保留了我的文件。因为我的大脑还没有打开,所以我忘记事先备份我的 MySQL 数据库。我仍然拥有所有原始文件,因此我实际上仍然拥有数据库,但
如何将我的 Access 数据库 (.accdb) 转换为 SQLite 数据库 (.sqlite)? 请,任何帮助将不胜感激。 最佳答案 1)如果要转换 db 的结构,则应使用任何 DB 建模工具:
系统检查发现了一些问题: 警告:?:(mysql.W002)未为数据库连接“默认”设置 MySQL 严格模式 提示:MySQL 的严格模式通过将警告升级为错误来修复 MySQL 中的许多数据完整性问题
系统检查发现了一些问题: 警告:?:(mysql.W002)未为数据库连接“默认”设置 MySQL 严格模式 提示:MySQL 的严格模式通过将警告升级为错误来修复 MySQL 中的许多数据完整性问题
我想在相同的 phonegap 应用程序中使用 android 数据库。 更多说明: 我创建了 phonegap 应用程序,但 phonegap 应用程序不支持服务,所以我们已经在 java 中为 a
Time Tracker function clock() { var mytime = new Date(); var seconds
我需要在现有项目上实现一些事件的显示。我无法更改数据库结构。 在我的 Controller 中,我(从 ajax 请求)传递了一个时间戳,并且我需要显示之前的 8 个事件。因此,如果时间戳是(转换后)
我有一个可以收集和显示各种测量值的产品(不会详细介绍)。正如人们所期望的那样,显示部分是一个数据库+建立在其之上的网站(使用 Symfony)。 但是,我们可能还会创建一个 API 来向第三方公开数据
我们将 SQL Server 从 Azure VM 迁移到 Azure SQL 数据库。 Azure VM 为 DS2_V2、2 核、7GB RAM、最大 6400 IOPS Azure SQL 数据
我正在开发一个使用 MongoDB 数据库的程序,但我想问在通过 Java 执行 SQL 时是否可以使用内部数据库进行测试,例如 H2? 最佳答案 你可以尝试使用Testcontainers Test
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 已关闭 9 年前。 此问题似乎与 a specific programming problem, a sof
我正在尝试使用 MSI 身份验证(无需用户名和密码)从 Azure 机器学习服务连接 Azure SQL 数据库。 我正在尝试在 Azure 机器学习服务上建立机器学习模型,目的是我需要数据,这就是我
我在我的 MySQL 数据库中使用这个查询来查找 my_column 不为空的所有行: SELECT * FROM my_table WHERE my_column != ""; 不幸的是,许多行在
我有那个基地:http://sqlfiddle.com/#!2/e5a24/2这是 WordPress 默认模式的简写。我已经删除了该示例不需要的字段。 如您所见,我的结果是“类别 1”的两倍。我喜欢
我有一张这样的 table : mysql> select * from users; +--------+----------+------------+-----------+ | userid
我有表: CREATE TABLE IF NOT EXISTS `category` ( `id` int(11) NOT NULL, `name` varchar(255) NOT NULL
我是一名优秀的程序员,十分优秀!