- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
所以,我有这个包含 435,453 行数据的数据库。我有 271 家不同的公司需要它的特定信息,所以我目前正在尝试通过使用 MySQL 查询选择所有数据来汇总它,这在 1.28 秒内返回所有行,很好。
然后我想遍历它们并根据每个公司将它们写入文件(使用fputcsv())。因此,我首先使用 fopen() 271 次来创建文件,然后对于每个返回的行,我查看哪些公司将在该行中包含数据并相应地写入文件。
现在,使用 memory_usage() 我可以看到在整个过程中内存使用量稳定在 6Mb。通过使用 microtime(),我为 while() 的每次迭代计时,这是我从数据库中读取的。
最终结果是每次迭代大约需要 0.00001 秒,因此对于数据库中的每一行,需要 0.00001 秒来确定哪些公司应该拥有每一行并将其写入这些文件。
但是有些事情搞砸了,因为 100 分钟后,该过程仍未完成,而 while() 每秒前进约 100 行。如果我的数学是正确的,遍历 435,453 行,每行需要 0.00001 秒,应该需要大约 4 秒。
这是代码,或者说花费了很长时间的部分:
$q=mysql_query(bq($query)) or print mysql_error();
while ($r=mysql_fetch_assoc($q)){
$nr++;
$now = microtime(true);
if (($nr % 100) == 0 && $argv[1] == "debug"){
print "$nr: " . fsize(memory_get_usage()) . ", time: " . sprintf("%.5f", ($now - $savetime)) . "\n";
}
foreach ($xsps as $xsp => $sites){
if (!in_array($r["citynet"], $sites)) continue 1;
$data = format_fields($r, $xsp);
$values = array_values($data);
$keys = array_keys($data);
$linefeed = "\n";
# TXT
if ($nr == 1) fwrite($text[$xsp], join("\t", $keys) . $linefeed);
fputcsv($text[$xsp], $values, "\t");
# CSV
if ($nr == 1) fwrite($csv[$xsp], join(";", $keys) . $linefeed);
fputcsv($csv[$xsp], $values, ";");
}
$savetime = microtime(true);
}
每 100 行打印一次的输出看起来像这样:
12600: 6 Mb, time: 0.00000
12700: 6 Mb, time: 0.00000
12800: 6 Mb, time: 0.00000
12900: 6 Mb, time: 0.00001
13000: 6 Mb, time: 0.00000
13100: 6 Mb, time: 0.00000
13200: 6 Mb, time: 0.00000
所以,显然 - 我做错了什么?数字表明没有,怎么会花这么长时间?
编辑所以,显然我的计算方式是错误的,所以我将其编辑为:
while ($r=mysql_fetch_assoc($q)){
$nr++;
$start = microtime(true);
if (($nr % 100) == 0 && $argv[1] == "debug"){
print "$nr: " . fsize(memory_get_usage()) . ", time: " . sprintf("%.5f", $processtime) . "\n";
}
...
$stop = microtime(true);
$processtime = ($stop - $start);
}
现在它报告每一行需要 0.15 秒才能完成,这意味着整个过程需要 108 分钟。所以现在真正的问题是——为什么这么慢?是 fputcsv() 慢还是 PHP 慢?
最佳答案
我没有能力调试你的代码和你的数据库。
但我将从更改这个已弃用的 mysql_*
代码开始:
$q=mysql_query(bq($query)) or print mysql_error();
while ($r=mysql_fetch_assoc($q)){
此 PDO 版本如:
$dsn = 'mysql:dbname=testdb;host=127.0.0.1';
$user = 'dbuser';
$password = 'dbpass';
try {
$dbh = new PDO($dsn, $user, $password);
} catch (PDOException $e) {
echo 'Connection failed: ' . $e->getMessage();
}
$sth = $dbh->prepare($q);
$sth->execute();
$result = $sth->fetchAll(PDO::FETCH_ASSOC); // <-- this is important to get all records from mysql but not one by one
foreach($result as $r) {
关于php - 写入文件很慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38058034/
我有这个代码 var myChart = new FusionCharts("../themes/clean/charts/hbullet.swf", "myChartId", "400", "75
既然写入是立即进行的(复制到内核缓冲区并返回),那么使用 io_submit 进行写入有什么好处? 事实上,它 (aio/io_submit) 看起来更糟,因为您必须在堆上分配写入缓冲区并且不能使用基
我正在使用 mootool 的 Request.JSON 从 Twitter 检索推文。收到它后,我将写入目标 div 的 .innerHTML 属性。当我在本地将其作为文件进行测试时,即 file:
最终,我想将 Vertica DB 中的数据抓取到 Spark 中,训练机器学习模型,进行预测,并将这些预测存储到另一个 Vertica DB 中。 当前的问题是确定流程最后部分的瓶颈:将 Spark
我使用 WEKA 库编写了一个 Java 程序, 训练分类算法 使用经过训练的算法对未标记的数据集运行预测 将结果写入 .csv 文件 问题在于它当前写出离散分类结果(即算法猜测一行属于哪个类别)。我
背景 - 我正在考虑使用 clickonce 通过 clickonce(通过网站)部署 WinForms 应用程序。相对简单的应用程序的要素是: - 它是一个可执行文件和一个数据库文件(sqlite)
是否有更好的解决方案来快速初始化 C 数组(在堆上创建)?就像我们使用大括号一样 double** matrix_multiply(const double **l_matrix, const dou
我正在读取 JSON 文件,取出值并进行一些更改。 基本上我向数组添加了一些值。之后我想将其写回到文件中。当我将 JSONArray 写回文件时,会被写入字符串而不是 JSONArray 对象。怎样才
我为两个应用程序使用嵌入式数据库,其中一个是服务器,另一个是客户端。客户端应用程序。可以向服务器端发送获取数据请求以检索数据并显示在表格(或其他)中。问题是这样的:如何将获取的数据保存(写入)到页面文
是否有更好的解决方案来快速初始化 C 数组(在堆上创建)?就像我们使用大括号一样 double** matrix_multiply(const double **l_matrix, const dou
从问题得出问题:找到所有 result = new ArrayList(); for (int i = 2; i >(i%8) & 0x1) == 0) { result.add(i
由于某种原因,它没有写入 CSV。谁能明白为什么它不写吗? def main(): list_of_emails = read_email_csv() #read input file, cr
关闭。 这个问题是 not reproducible or was caused by typos 。它目前不接受答案。 这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能在这里出现,
我目前正在开发一个保存和加载程序,但我无法获得正确的结果。 编写程序: #include #include #define FILENAME "Save" #define COUNT 6 type
import java.io.*; public class Main2 { public static void main(String[] args) throws Exception {
我需要使用预定义位置字符串“Office”从所有日历中检索所有 iOS 事件,然后将结果写入 NSLog 和 UITextView。 到目前为止,这是我的代码: #import "ViewCo
我正在尝试将 BOOL 值写入 PFInstallation 中的列,但会不停地崩溃: - (IBAction)pushSwitch:(id)sender { NSUserDefaults *push
我以前在学校学过一些简单的数据库编程,但现在我正在尝试学习最佳实践,因为我正在编写更复杂的应用程序。写入 MySQL 数据库并不难,但我想知道让分布式应用程序写入 Amazon EC2 上的远程数据库
是否可以写回到ResourceBundle?目前我正在使用 ResourceBundle 来存储信息,在运行时使用以下内容读取信息 while(ResourceBundle.getBundle("bu
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。 这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能是on-topi
我是一名优秀的程序员,十分优秀!