- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我一直在从事图像处理和机器人技术方面的自主项目,其中机器人不像往常一样检测颜色并挑选物体,而是尝试检测板上的孔(类似于不同的多边形)。为了更好地理解这里的设置是一张图片:
如您所见,我必须检测这些孔,找出它们的形状,然后使用机器人将物体放入孔中。我正在使用 kinect 深度相机来获取深度图像。图片如下:
我在思考如何用相机检测孔洞,最初使用 mask 根据深度测量去除背景部分和一些前景部分,但这并没有奏效,因为在不同的方向摄像头的孔会与电路板合并……就像范围内的东西(它完全变成白色)。然后我遇到了 adaptiveThreshold
函数
adaptiveThreshold(depth1,depth3,255,ADAPTIVE_THRESH_GAUSSIAN_C,THRESH_BINARY,7,-1.0);
使用腐 eclipse 、膨胀和高斯模糊去除噪声;如下图所示,它以更好的方式检测到孔。然后我使用 cvCanny 边缘检测器来获取边缘,但到目前为止效果并不好,如下图所示。之后我尝试了 SIFT、SURF、ORB、GoodFeaturesToTrack 的各种特征检测器,发现 ORB 给出了最好的时间和检测到的特征。在此之后,我尝试通过查找其关键点并匹配这些关键点以获得查询图像的相对相机姿势,以便为 findHomography
函数提供良好的匹配。结果如下图所示:
最后,我想获得两个图像之间的相对相机姿势,并使用从 solvePnP 函数获得的旋转和平移矢量将机器人移动到该位置。
So is there any other method by which I could improve the quality of the holes detected for the keypoints detection and matching?
我也尝试过轮廓检测和 approxPolyDP 但近似的形状并不是很好:
我已经尝试调整阈值和 canny 函数的输入参数,但是这是我能得到的最好的
Also ,is my approach to get the camera pose correct?
更新:无论我尝试什么,我都无法获得良好的可重复特征来映射。然后我在网上读到深度图像的分辨率很低,而且它只用于掩蔽和获取距离之类的东西。所以,我突然想到这些特征是不合适的,因为低分辨率的图像边缘凌乱。所以我想到了检测 RGB 图像上的特征并使用深度图像来仅获取这些特征的距离。我得到的功能质量简直超出了图表。它甚至检测到板上的螺丝!以下是使用 GoodFeaturesToTrack 关键点检测检测到的关键点。 .我在获取距离时遇到了另一个障碍,因为点的距离没有正确显示。我搜索了可能的原因,一段时间后我发现由于相机之间的偏移,RGB 和深度图像中存在偏移。您可以从前两张图像中看到这一点。然后我在网上搜索了如何补偿这个偏移量,但找不到可行的解决方案。
If anyone one of you could help me in compensate the offset,it would be great!
更新:我无法很好地利用 goodFeaturesToTrack 函数。该函数给出 Point2f 类型的角点。如果要计算描述符,我们需要关键点,使用下面的代码片段将 Point2f 转换为关键点会导致尺度和旋转不变性的损失。
for( size_t i = 0; i < corners1.size(); i++ )
{
keypoints_1.push_back(KeyPoint(corners1[i], 1.f));
}
特征匹配的可怕结果如下所示 .
我现在必须开始不同的特征匹配。我会发布进一步的更新。如果有人可以帮助解决偏移问题,那将非常有帮助。
最佳答案
补偿图像输出与世界坐标之间的差异:
您应该使用良好的旧相机校准方法来校准相机响应并可能为相机输出生成校正矩阵(以便将它们转换为真实比例)。
打印出棋盘模板并拍摄各种照片后,事情就没那么复杂了。 (对于此应用,您无需担心旋转不变性。只需使用图像阵列校准世界 View 即可。)
您可以在此处找到更多信息:http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/own_calib.html
--
既然我似乎无法对这个问题发表评论,我想问一下您的具体应用是否需要机器即时“找出”孔的形状。如果孔的形状数量有限,您可以对它们进行数学建模,并在黑白边缘图像上寻找支持预定义模型的像素。
如 (x)^2+(y)^2-r^2=0 表示半径为 r 的圆,而 x 和 y 是像素坐标。
话虽如此,我认为需要对应用程序(形状检测)的要求进行更多说明。
关于image - 如何改进关键点检测和匹配,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24882736/
我对编码还比较陌生,但并非完全没有经验。处理有关金融计算器的学校作业。如果你们中的任何人可以查看我的代码以了解不良做法/可能的改进等,那就太好了。 我确实添加了一个“动画”启动(有很多 printf
小目标Trick 论文链接: https://paperswithcode.com/paper/slicing-aided-hyper-inference-and-fine-tuning 代码链接:h
if (firstPositionCpc && (firstPosition > 0 && firstPositionCpc 0 && topOfPageCpc 0 && firstPageCpc
我有 2 个表:“packages”和“items”。 “packages”有以下列:pack_id | item_id “items”有以下列......:item_id |输入 一个包可以有多个
我目前有一个 Pandas Dataframe,我在其中执行列之间的比较。我发现一种情况,在进行比较时存在空列,由于某种原因比较返回 else 值。我添加了一个额外的语句来将其清理为空。看看我是否可以
我正在处理一个查询,通过首先舍入它们的主要日期时间键来连接一个数据库中的多个表。数据库包含来自 openhab 的性能数据,每个表只有一个名为 Time 的主日期时间行和一个名为 Value 的值行。
问候 我有一个程序创建一个类的多个实例,在所有实例上运行相同的长时间运行的 Update 方法并等待完成。我从 this question 开始关注 Kev 的方法将更新添加到 ThreadPool.
我想在下学期的类(class)中取得领先,所以我制作了这个基本版本的 Blackjack 来开始理解 C 的基础知识,我希望您有任何想法可以帮助我更好地理解 C 和其正常的编码实践。 C 中的很多东西
我有一个要求,比如: 给定一个数组,其中包含随机数。需要输出元素出现的次数,有自带解决方案: var myArr = [3,2,1,2,3,1,4,5,4,6,7,7,9,1,123,0,123];
这是我的数据库项目。 表user_ select id, name from user_; id | name ----+---------- 1 | bartek 2 | bartek
我已经完成了一个小批量脚本来调整(动态)一些图像的大小: for a in *.{png,PNG,jpg,JPG,jpeg,JPEG,bmp,BMP} ; do convert "$a" -resiz
是否有更 pythonic 的方法来执行以下代码?我想在一行中完成 parsed_rows 是一个可以返回大小为 3 或 None 的元组的函数。 parsed_rows = [ parse_row(
关闭。这个问题是opinion-based .它目前不接受答案。 想要改进这个问题? 更新问题,以便 editing this post 可以用事实和引用来回答它. 关闭 9 年前。 Improv
下面的代码完成了我想要的,但还有其他更像 python 风格的方式吗? 文件格式: key1:value1,key2:value2,... key21:value21,key22:value22,..
如果两个英文单词只包含相同的字母,则它们是相似的。例如,food 和 good 不相似,但 dog 和 good 相似。 (如果A与B相似,则A中的所有字母都包含在B中,B中的所有字母都包含在A中。)
我有以下结构来表示二叉树: typedef struct node *pnode; typedef struct node { int val; pnode left; pnode
我有一个区域,它由受约束的 delaunay 三角剖分表示。我正在解决在两点之间寻找路径的问题。我正在使用 Marcelo Kallmann 提供的论文作为解决此问题的引用点。然而,而不是使用 Kal
如果我需要检查文本(字符串)中是否存在单词 A 或单词 B,如果我这样做会有性能差异: if(text.contains(wordA) || text.contains(wordB)) 要使用一些正则
Adjust To 我有上面这个简单的页面,上面有一个标签和一个文本框。我想在文本框中输入文本。 对我有帮助的 XPATH 是 //*[contains(tex
以下伪代码的elisp代码 if "the emacs version is less than 23.1.x" do something else something-else 写成 (if
我是一名优秀的程序员,十分优秀!