- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我想使用 Google Cloud 在新测试集上评估自定义训练的 Tensorflow 对象检测模型。
我从以下位置获得了初始检查点: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/detection_model_zoo.md
我知道 Tensorflow 对象检测 API 允许我使用以下方法同时运行训练和评估:
https://github.com/tensorflow/models/blob/master/research/object_detection/model_main.py
为了开始这样的工作,我提交了以下 ml-engine 工作:
gcloud ml-engine jobs submit training [JOBNAME]
--runtime-version 1.9
--job-dir=gs://path_to_bucket/model-dir
--packages dist/object_detection-
0.1.tar.gz,slim/dist/slim-0.1.tar.gz,pycocotools-2.0.tar.gz
--module-name object_detection.model_main
--region us-central1
--config object_detection/samples/cloud/cloud.yml
--
--model_dir=gs://path_to_bucket/model_dir
--pipeline_config_path=gs://path_to_bucket/data/model.config
然而,在我成功地对模型进行迁移训练后,我想在一个新的测试数据集上使用计算性能指标,例如 COCO mAP( http://cocodataset.org/#detection-eval ) 或 PASCAL mAP ( http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham10.pdf )以前使用过(既没有在训练期间也没有在评估期间)。
我已经看到,model_main.py 中可能有标志:
flags.DEFINE_string(
'checkpoint_dir', None, 'Path to directory holding a checkpoint. If '
'`checkpoint_dir` is provided, this binary operates in eval-only
mode, '
'writing resulting metrics to `model_dir`.')
但我不知道这是否真的意味着 model_main.py 可以在独占评估模式下运行?如果是,我应该如何提交ML-Engine作业?
或者,Tensorflow API 中是否有任何函数允许我基于 COCO 和/或 Pascal mAP 评估现有的输出字典(包含边界框、类标签、分数)?如果有,我可以轻松地在本地读取 Tensorflow 记录文件,运行推理,然后评估输出字典。
我知道如何为评估数据集获取这些指标,这些指标是在 model_main.py 中训练期间评估的。但是,根据我的理解,我仍然应该报告新测试数据集上的模型性能,因为我比较了多个模型并实现了一些超参数优化,因此我不应该报告评估数据集,对吗?更笼统地说:我真的无法理解为什么要从单独的培训和评估(因为它在遗留代码中)切换到组合的培训和评估脚本?
编辑:我找到了两个相关的帖子。但是我不认为提供的答案是完整的:
how to check both training/eval performances in tensorflow object_detection
How to evaluate a pretrained model in Tensorflow object detection api
后者是在 TF 的对象检测 API 仍然具有单独的评估和训练脚本时编写的。情况已不再如此。
非常感谢您的帮助。
最佳答案
如果您指定 checkpoint_dir
并将 run_once
设置为 true,那么它应该在 eval 数据集上只运行一次评估。我相信指标将写入 model_dir 并且也应该出现在您的控制台日志中。我通常只是在我的本地机器上运行它(因为它只是对数据集进行一次传递)并且不是分布式作业。不幸的是,我还没有尝试在 CMLE 上运行这个特定的代码路径。
关于为什么我们有一个组合脚本......从对象检测 API 的角度来看,我们试图在 tf.Estimator 范例中编写东西 --- 但你是对的,我个人觉得当这两个功能存在于不同的二进制文件中。如果你愿意,你总是可以把这个功能包装在另一个二进制文件中:)
关于python - 如何仅在评估模式下运行 TF 对象检测 API model_main.py,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55455824/
目前,由于生成变量的评估,我的Makefile遇到了问题。我降低了复杂性,仅保留了导致问题的基本要素。 读取Makefile时, $(LIST)被评估为文件列表。 在步骤1中,其中一个文件被删除。 在
为什么这 eval 没有调用alert("Summer") ? eval('(caption="Summer";alert(caption))'); 和《夏天》里的台词有关系吗? 最佳答案 Uncau
我正在努力让以下工作正常进行。最初似乎可以工作,但不知何故它停止工作了 var setCommonAttr = "1_row1_common"; var val = document.getEleme
eval('({"suc":true})') 以上错误,应该是: eval('{"suc":true}') 为什么? 最佳答案 当尝试评估时,解释器会看到大括号并认为它是一个 block 开头。将其括
我的页面 A 发出了 ajax 调用并引入了片段 B。该片段被添加到 DOM 中,并且该片段中的所有脚本都经过了评估。在该代码片段中,我有 2 个脚本标签: function doOptions()
这里是javascript代码: var test = { "h" : function (a) {return a;}, "say" : "hello" }; 第一次运行: test
我正在查看一些工作代码,并遇到了这一行: eval("\$element = \"$element\";"); 我真的很困惑为什么任何 PHP 开发人员都会写这一行。除了给自己设置一个变量之外,这还有
谁能帮我解决以下问题: 我有这样的代码: if(cond1 && cond2 && .. && cond10) 这里,cond1 是昂贵的操作,其输出是 boolean 值。 现在我的问题是,当 co
**摘要:**华为AppCube应用魔方顺利通过信通院评估,被认证为具备 “低代码开发平台通用能力”的企业服务平台。 本文分享自华为云社区《华为AppCube通过中国信通院“低代码开发平台通用能力要求
我正在尝试通过 PHP 从图像的 EXIF 数据中获取焦距。 这是我目前得到的代码: $exif = exif_read_data("$photo"); $length10 = $exif['Foca
我想使用id =“key”将一个类添加到元素中,但是为什么不起作用?我是js的初学者:这是代码: audio.classList.add('yellow'); 这是错误: null is not an
这是我的 XML: QueWay Password Recovery 现在我想用 php 用 xpath 选择文本“QueWay”。到目前为止我所拥有的一切都很好: $xml =
使用下面的代码,即使我输入的数字大于 18,我也会得到这个结果。 运行:你今年多大? 21你还没有达到成年年龄!构建成功(总时间:3 秒) 我是java新手,正在尝试自学,有人可以帮忙吗? impor
我正在阅读 http://www.cran.r-project.org/doc/manuals/R-lang.pdf手册第 4.3 章,我就是不明白。也许有人可以给我一个快速的解释,为什么 R 的行为
在这个实现中,每次都会评估 hand 并返回另一个列表吗? foreach (Card card in hand.Cards) { } 我们应该用下面的实现替换上面的实现吗? var cards =
我正在制作 LINQ lambda 表达式: Expression> add = (x, y) => x + y; 但现在我将如何评估它,比如说找到 2+3? 最佳答案 这应该适合你: var su
我正在制作一个语言解释器,我已经到了需要评估 if 语句的地步。起初我认为这很简单,我能够让我的解释器评估简单的 if 条件,10 == 10 但是当我试图让它评估更复杂的条件时, 10 == 10
我正在尝试以下代码,该代码向 RDD 中的每一行添加一个数字,并使用 PySpark 返回 RDD 列表。 from pyspark.context import SparkContext file
在阅读了很多关于 Lisp eval-when 运算符的文档后,我仍然无法理解它的用途,我知道使用这个运算符我可以控制表达式的计算时间,但我做不到找出任何可能适用的示例? 最好的问候,utxee. 最
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,
我是一名优秀的程序员,十分优秀!