android - 如何检测3d模型特定部分的点击(触摸)？

Question

我需要将3D模型加载到我的应用程序中（不是游戏，它没有任何区别），并检测用户何时触摸此模型的特定部分以采取不同的操作。

我怎样才能做到这一点？可能吗？

Answer 1

我不熟悉Rajawali，但GitHub将其描述为OpenGL ES框架。正如您在上面的注释中所描述的那样，您需要考虑两项基本的用户操作，而我将添加的一项操作会有所帮助：


沿某个方向在屏幕上滑动：更改X，更改Y。
在汽车处于某个方向的情况下触摸屏幕上的某些（x，y）点。
（可选）放大/缩小以使用户更容易选择小功能，例如后视镜。


根据Rajawali公开的OpenGL ES详细信息，您需要执行以下一项或两项操作：


了解有关确定如何在2D屏幕上渲染3D场景的四个矩阵的信息。
查找名称为“ lookAt”或“ setViewpoint”的Rajawali函数，并学习如何将屏幕手势信息传递给这些函数。


您可以在其他地方详细了解四个OpenGL矩阵。即使Rajawali稍微简化了编码，您也应该对这些矩阵有所了解。尽管您的第一个倾向是更改影响对象位置和方向的“模型”矩阵，但您更有可能会操纵“视图”矩阵，该矩阵确定用户从其看到汽车的空间中的点和方向。也就是说，汽车实际上将保持在（0,0,0）的中心，并且用户的滑动，触摸和捏紧都会改变视点。

限制运动以使车辆始终居中很不错，这是因为您的代码可能更简单一些，也因为用户无法通过将视点移到一侧太远而“丢失”汽车。

视点最简单的更改是缩放，这在大多数迭代中意味着仅更改视点矩阵的Z平移。 Rajawali可以通过提供zoomIn（）和zoomOut（）函数来简化此过程。否则，您需要这样做：


在Rajawali / Android提供的回调或“事件处理程序”中进行捏合，获取捏入或捏出值。
调用Rajawali zoomIn（）或zoomOut（）函数（如果存在）。您可能需要缩放该值，以使捏合量与放大和缩小汽车模型的预期匹配。
或者，设置视图矩阵的Z平移分量。


如果Rajawali没有提供诸如“ screenToWorld”之类的适当功能来接受2D屏幕空间中的点以及3D点或3D，则将（x，y）2D屏幕触摸点转换为投射到3D空间的射线可能会很棘手。射线在世界空间。花些时间为拉贾瓦利搜寻“射线投射”。这是代码需要做的简要概述：


将2D触摸点转换为指向屏幕的3D射线。
检查3D射线与各种子对象的相交。
（可选）更改颜色或突出显示所选对象。


OpenGL不提供射线投射功能，除非您别无选择，否则我建议您不要自行实现它。环绕或补充OpenGL的各种框架都可以提供此功能。 OpenGL编码器会让我感到困惑，但是从内存来看，这是将2D接触点转换为指向屏幕的3D射线的方法：


从Rajawali或Android中的“触摸”或“单击”回调或事件处理程序中获取（x，y）2D屏幕触摸点。
将2D触摸点转换为3D点。如果我还记得，这意味着将Z设置为某些值，例如-1、0或1。这是射线的基点。
用不同的Z值定义第二个3D点。这是射线的远点。
使用屏幕，投影和视图矩阵将3D点转换为“世界”空间。
给定您的基点和远点的3D世界坐标，请使用射线对象相交来确定相交的对象。


同样，拉贾瓦利可以提供确定射线与哪些对象相交的功能。如果返回多个对象，则选择最近的对象。由于您的车辆已经细分为多个子对象，因此这应该不太困难。实现“捏到缩放”可以使用户更容易选择小对象。

滑动类似于OpenGL的鼠标移动，许多OpenGL的启动项目描述了如何将鼠标移动转换为旋转。假设当前模型仅绕着从地面到屋顶的垂直轴旋转，那么您只需要将围绕OpenGL中通常是Y轴的左/右滑动更改为正/负旋转即可。


在Android / Rajawali中，处理“滑动”事件处理程序或回调。这类似于“ mouseMove”功能。
将左/右滑动转换为负/正值。
调用rotateAboutY（）函数（如果可用），或者将旋转应用于视点矩阵（在此不再赘述）。


考虑到所有这些，我建议采用以下方法：


查看Rajawali是否提供便利功能，以将屏幕坐标转换为世界射线，将屏幕轻扫转换为旋转以及测试与一系列对象的射线相交。
即使Rajawali提供了这些功能，也请阅读一些有关下面的底层OpenGL ES以及四个矩阵的信息：屏幕，透视图，视点和模型。
如果Rajawali不提供便利功能，则寻找一个可以做的框架，或者查看与Rajawali一起使用的其他库是否可以提供这些便利功能。
如果您无法更改框架或找到隐藏混乱细节的框架，请计划花费一个星期或更长时间来仔细研究OpenGL。您可能不需要了解着色器，纹理等，但是您将需要了解OpenGL 3D空间，四个矩阵等。