android - 处理 3D "scene"或屏幕到 3D 坐标中的触摸事件

Question

我正在尝试在 Android 中使用 3D (OpenGL ES) 实现“打地鼠”类型的游戏。现在，我在任何给定时间在屏幕上都有一个 3D 形状(旋转立方体)代表我的“痣”。我的 View 中有一个触摸事件处理程序，它在我的渲染器中随机设置一些 x、y 值，导致立方体四处移动(使用 glTranslatef())。

我还没有遇到任何将屏幕触摸事件完全桥接至 3D 场景的教程或文档。我已经做了很多跑腿工作才能到达我所在的位置，但我似乎无法弄清楚剩下的路。

来自 developer.andrdoid.com我正在使用我认为可以被视为矩阵的辅助类:MatrixGrabber.java , MatrixStack.java和 MatrixTrackingGL.java .

我在我的 GLU.glUnProject method 中使用这些类它应该进行从真实屏幕坐标到 3D 或对象坐标的转换。

fragment :

    MatrixGrabber mg = new MatrixGrabber();
    int viewport[] = {0, 0, renderer._width, renderer._height};
    mg.getCurrentModelView(renderer.myg);
    mg.getCurrentProjection(renderer.myg);
    float nearCoords[] = { 0.0f, 0.0f, 0.0f, 0.0f };
    float farCoords[] = { 0.0f, 0.0f, 0.0f, 0.0f };
    float x = event.getX();
    float y = event.getY();
    GLU.gluUnProject(x, y, -1.0f, mg.mModelView, 0, mg.mProjection , 0, viewport, 0, nearCoords, 0)
    GLU.gluUnProject(x, y, 1.0f, mg.mModelView, 0, mg.mProjection , 0, viewport, 0, farCoords, 0)

此代码段执行时没有错误，但输出看起来不正确。我知道屏幕的原点 (0,0) 位于左下角。 3D 场景，至少是我的，似乎原点就在屏幕中间，就像一个经典的笛卡尔系统。因此，从触摸左下角开始，在屏幕坐标为 (0, 718) 的位置运行我的代码。我从最后一个参数到 gluUnProject 的输出是:

附近:{-2.544、2.927、2.839、1.99}

远:{0.083, 0.802, -0.760, 0.009}

这些数字对我来说没有任何意义。我的触摸甚至在第 3 象限，所以我所有的近距离和远距离 x、y 值都应该是负数，但事实并非如此。 gluUnProject 文档没有提到需要转换屏幕坐标。再一次，相同的文档会让您相信 Near 和 Far 应该是大小为 3 的数组，但它们必须是大小为 4 的数组，我不知道为什么。

所以，我有两个问题(我相信会有更多问题出现)。

1. 我怎样才能确保获得正确的远近坐标基于屏幕坐标。
2. 获得近坐标和远坐标后，如何使用它来确定他们创建的线是否与屏幕上的对象相交。

Answer 1

我记得在大学时代遇到过 glUnProject 在 Android 上的问题。 (那是在 Android 的早期)我的一位同学发现我们的计算会被 glUnProject 的结果中的第 4 维所破坏。如果我没记错的话，这是某处记录的内容，但出于某种原因我无法再次挖掘它。我从来没有深入研究它的细节，但也许对我们有帮助的东西对你也有用。这可能与我们应用的数学有关...

/**
 * Convert the 4D input into 3D space (or something like that, otherwise the gluUnproject values are incorrect)
 * @param v 4D input
 * @return 3D output
 */
private static float[] fixW(float[] v) { 
    float w = v[3];
    for(int i = 0; i < 4; i++) 
        v[i] = v[i] / w;
    return v;
}

我们实际上使用了上述方法来修复 glUnProject 结果并对 3D 空间中的球形对象执行拾取/触摸/选择操作。下面的代码可能会提供有关如何执行此操作的指南。它只不过是转换一条射线并进行射线球相交测试。

一些额外的注释可能会使下面的代码更容易理解:

• Vector3f 是基于 3 个浮点值的 3D 向量的自定义实现，并实现了通常的向量运算。
• shootTarget 是 3D 空间中的球形物体。
• getXZBoundsInWorldspace(0) 和 getPosition(0) 等调用中的 0 只是一个索引。我们实现了 3D 模型动画，索引确定要返回模型的哪个“帧/姿势”。由于我们最终是在非动画对象上进行这个特定的 HitTest ，所以我们总是使用第一帧。
• Concepts.w 和 Concepts.h 只是屏幕的宽度和高度(以像素为单位)——或者对于全屏应用可能有不同的说法:屏幕的分辨率。

_

/**
 * Checks if the ray, casted from the pixel touched on-screen, hits
 * the shoot target (a sphere). 
 * @param x
 * @param y
 * @return Whether the target is hit
 */
public static boolean rayHitsTarget(float x, float y) {
    float[] bounds = Level.shootTarget.getXZBoundsInWorldspace(0);
    float radius = (bounds[1] - bounds[0]) / 2f;
    Ray ray = shootRay(x, y);
    float a = ray.direction.dot(ray.direction);  // = 1
    float b = ray.direction.mul(2).dot(ray.near.min(Level.shootTarget.getPosition(0)));
    float c = (ray.near.min(Level.shootTarget.getPosition(0))).dot(ray.near.min(Level.shootTarget.getPosition(0))) - (radius*radius);

    return (((b * b) - (4 * a * c)) >= 0 );

}

/**
 * Casts a ray from screen coordinates x and y.
 * @param x
 * @param y
 * @return Ray fired from screen coordinate (x,y)
 */
public static Ray shootRay(float x, float y){
    float[] resultNear = {0,0,0,1};
    float[] resultFar = {0,0,0,1};

    float[] modelViewMatrix = new float[16];
    Render.viewStack.getMatrix(modelViewMatrix, 0);

    float[] projectionMatrix = new float[16];
    Render.projectionStack.getMatrix(projectionMatrix, 0);

    int[] viewport = { 0, 0, Concepts.w, Concepts.h };

    float x1 = x;
    float y1 = viewport[3] - y;

    GLU.gluUnProject(x1, y1, 0.01f, modelViewMatrix, 0, projectionMatrix, 0, viewport, 0, resultNear, 0);
    GLU.gluUnProject(x1, y1, 50f, modelViewMatrix, 0, projectionMatrix, 0, viewport, 0, resultFar, 0);
    //transform the results from 4d to 3d coordinates.
    resultNear = fixW(resultNear);
    resultFar = fixW(resultFar);
    //create the vector of the ray.
    Vector3f rayDirection = new Vector3f(resultFar[0]-resultNear[0], resultFar[1]-resultNear[1], resultFar[2]-resultNear[2]);
    //normalize the ray.
    rayDirection = rayDirection.normalize();
    return new Ray(rayDirection, resultNear, resultFar);
}

/**
 * @author MH
 * Provides some accessors for a casted ray.
 */
public static class Ray {
    Vector3f direction;
    Vector3f near;
    Vector3f far;

    /**
     * Casts a new ray based on the given direction, near and far params. 
     * @param direction
     * @param near
     * @param far
     */
    public Ray(Vector3f direction, float[] near, float[] far){
        this.direction = direction;
        this.near = new Vector3f(near[0], near[1], near[2]);
        this.far = new Vector3f(far[0], far[1], far[2]);
    }
}