android - 应用程序以原生 4k 显示其图像内容的机制

Question

据我了解，目前 UHD 视频内容在 4k 电视上流式传输，主要使用 HEVC 编解码器。

我想了解具有超高清图像内容的应用如何以原生 4K 显示其图像内容？

我正在寻找的是渲染 4k(3840*2060) jpeg 图像。我的显示器支持 4k 渲染，SOC 甚至可以输出 4k。我正在寻找框架中的修改，以便所有具有 4k 图像的应用程序都可以在我的设备上呈现它们而无需缩小。

实际上我正在尝试提出其他人可以使用的 API 集。但我的主要困惑是:对于 jpeg 图像，我创建了一个 4k 表面，但它们也是其他表面(按钮等)。它们由在 1280*720 处渲染的表面抛掷器渲染。

现在，将我的 4k 表面与这些其他表面组合在一起的最佳方法是什么？我应该在哪里升级这些表面以及在哪里合成它们？

Answer 1

需要明确的重要一点是您的想法是什么类型的开发。如果您只是希望在您的应用程序中显示视频流，您应该为主要 Activity 采用用户界面，该界面将仅包含 VideoView 类的实例。 VideoView 类有很多可以调用的方法来管理视频的播放。

给VideoView配置要播放的视频的路径，然后开始播放。然后选择VideoPlayerActivity.java文件并修改 OnCreate() 方法，如下所示:

package com.example.videoplayer;

import android.os.Bundle;
import android.app.Activity;
import android.view.Menu;
import android.widget.VideoView;

public class VideoPlayerActivity extends Activity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_video_player);

        final VideoView videoView = 
               (VideoView) findViewById(R.id.videoView1);

           videoView.setVideoPath(
               "http://www.ebookfrenzy.com/android_book/movie.mp4");

        videoView.start();
    }
.
.
.
}

基本上你所拥有的是用于应用用户界面的 Android SDK，这意味着你可以使用不同的选择来实际渲染视频 streaming在 UI 层下方。

迁移您的 already existing App从平板电脑或者手机到智能电视也是可以相当顺利的实现的。一些事情将不得不调整 - 例如。通常用于智能电视的触摸屏可能不是一种选择。

相反，您应该考虑 onkeyDown作为为您的应用输入交互的更可靠方法:

@Override
public boolean onKeyDown(int keyCode, KeyEvent event) {

    switch (keyCode) {
        case KeyEvent.KEYCODE_MEDIA_PLAY:{
            if (!mPlaying) {
                startSlideShow();
            }
            mPlaying = true;
            break;
        }
        case KeyEvent.KEYCODE_MEDIA_PAUSE:{
            mPlaying = false;
            showStatusToast(R.string.slideshow_paused);
        }
    }
    return super.onKeyDown(keyCode, event);
}

作为 Android Smart Google TV API 的一部分，您还可以针对更大的屏幕分辨率进行必要的调整:

   // Get the source image's dimensions
   BitmapFactory.Options options = new BitmapFactory.Options();
   options.inJustDecodeBounds = true; // this does not download the actual image, just downloads headers.
   BitmapFactory.decodeFile(IMAGE_FILE_URL, options);

   int srcWidth = options.outWidth;  // actual width of the image.
   int srcHeight = options.outHeight;  // actual height of the image.

   // Only scale if the source is big enough. This code is just trying to fit a image into a certain width.
   if(desiredWidth > srcWidth)
     desiredWidth = srcWidth;

   // Calculate the correct inSampleSize/scale value. This helps reduce memory use. It should be a power of 2.
   int inSampleSize = 1;
   while(srcWidth / 2 > desiredWidth){
     srcWidth /= 2;
     srcHeight /= 2;
     inSampleSize *= 2;
   }

   float desiredScale = (float) desiredWidth / srcWidth;

   // Decode with inSampleSize
   options.inJustDecodeBounds = false;  // now download the actual image.
   options.inDither = false;
   options.inSampleSize = inSampleSize;
   options.inScaled = false;
   options.inPreferredConfig = Bitmap.Config.ARGB_8888;  // ensures the image stays as a 32-bit ARGB_8888 image. 
                                                         // This preserves image quality.
   Bitmap sampledSrcBitmap = BitmapFactory.decodeFile(IMAGE_FILE_URL, options);

   // Resize
   Matrix matrix = new Matrix();
   matrix.postScale(desiredScale, desiredScale);
   Bitmap scaledBitmap = Bitmap.createBitmap(sampledSrcBitmap, 0, 0,
       sampledSrcBitmap.getWidth(), sampledSrcBitmap.getHeight(), matrix, true);
   sampledSrcBitmap = null;

   // Save
   FileOutputStream out = new FileOutputStream(LOCAL_PATH_TO_STORE_IMAGE);
   scaledBitmap.compress(Bitmap.CompressFormat.JPEG, 100, out);
   scaledBitmap = null;

您还可以轻松地将您的液晶电视转换为智能电视，然后开始播放和测试您的 Google TV 应用程序的行为方式。为此，您只需将手放在adaptor kit .

事实上，联想正在发布一款同样运行 Android 的 28 英寸 4K 显示器(ThinkVision 28) ，允许您运行所有常用的流媒体应用程序，以及 Kogan也在做同样的事情。

在玩小工具的过程中更进一步，您甚至可以在电视上使用 MHL HDMI 连接您的手机或将其用作 computer .

所以，Android 使用 MHL 3.0 does 4K video输出是一个现实，优秀的开发人员已经可以根据使用的设备为他们的应用程序提供必要的分辨率和输入调整。

如果您主要关心的是提高性能和优化视频流，您可以考虑以下选项:

• NDK:您决定使用一些库或实现您自己的程序，该程序实际上是用 C++ 编写的，以优化 video streaming。 .
• RenderScript:它使用 C99 语法和新的 API，最终编译为 native code .虽然这种语法众所周知，但使用这个系统有一个学习曲线，因为 API 不是。
• OpenCL:用于图形加速，并提供许多用于 3D 渲染和视频流的工具 performance .

实际上，OpenCL 中的代码类似于 C/C++:

    for (int yy=-filterWidth; yy<=filterWidth; ++yy)
    {
      for (int xx=-filterWidth; xx<=filterWidth; ++xx)
       {
          int thisIndex = (y + yy) * width + (x + xx);
          float4 currentPixel = oneover255 *convert_float4(srcBuffer[thisIndex]);
          float domainDistance = fast_distance((float)(xx), (float)(yy));
          float domainWeight = exp(-0.5f * pow((domainDistance/sigmaDomain),2.0f));

          float rangeDistance = fast_distance(currentPixel.xyz, centerPixel.xyz);
          float rangeWeight = exp(-0.5f * pow((rangeDistance/sigmaRange),2.0f));

          float totalWeight = domainWeight * rangeWeight ;
          normalizeCoeff += totalWeight;

          sum4 += totalWeight * currentPixel;
       }
    }

在 ARM 微处理器功能方面，值得一提的是 Sigma Designs SMP8756 ARM for Android 机顶盒，旨在解决完整的高效视频编码 (HEVC) 功能。

• 双线性过滤

要调整图像/视频的大小，您需要申请 bilinear filtering .双线性插值是使用隔行扫描视频帧中的每个中间场来生成全尺寸目标图像的过程。场上的所有奇数行或所有偶数行are used .然后在行之间和相邻像素之间执行插值，以生成用于逐行扫描输出的完整非隔行帧。

要实现为您需要的尺寸正确调整图像，有很多很好的算法可用于此目的，例如 image scaling 的一些 OpenCL 功能, 同样对于原生 C++ 其他选项也是 available .