草庐IT

2022-07-21 Android开发相机预览数据处理优化setPreviewCallbackWithBuffer()

颈椎以上瘫痪 2024-04-09 原文

背景

Android开发中Camera常用的是预览或者拍照等操作，但是笔者这里业务不需要预览相机的画面，而是需要拿到相机的预览数据，转成图片，进行图像处理，所以需要得到相机的预览数据。

平常情况下，我们只需要以下代码就可以得到相机预览数据：

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        mCamera.setPreviewCallback(mCameraPreviewCallback);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        // TODO bytes 相机预览数据
    }
};

通过上述代码，对相机的一些基础设置，和设置一个显示位置，然后开始预览相机，在控件中就可以预览相机画面，通过相机setPreviewCallback()函数设置一个预览回调接口，回调函数onPreviewFrame()中的bytes[]就是相机内帧图像数据。该回调会将每一帧数据一个不漏的传过来。

private static long thisT = 0;
private static long lastT = 0;

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName()+",相机数据间隔:" + (thisT - lastT));
    }
};

//logcat
2022-07-21 09:37:29.456 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.485 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:29
2022-07-21 09:37:29.518 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.552 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.589 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:37
2022-07-21 09:37:29.622 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.656 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.683 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:27
2022-07-21 09:37:29.716 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.750 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.783 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.815 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.856 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:41
2022-07-21 09:37:29.887 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:31

通过日志查看每一帧的间隔约35ms，并且这个回调是在主线程中，图像处理一般都是耗时比较多的，如果你要在这里做什么，请注意你的线程操作，避免程序卡顿和数据同步问题。大多数情况下我们对图像的操作会超过这个时间，为了保证数据同步，我们会采取丢帧的方式，如果在处理这一帧的过程中，下一帧数据来了，我们直接丢弃不处理。另外每一帧的数据都是一块新的内存区域，这会造成系统的频繁GC。本文就将记录这种情况下的处理优化。

上述代码中使用的是setPreviewCallback()函数设置一个相机预览回调：

mCamera.setPreviewCallback(mCameraPreviewCallback);

同时Android API还提供了setPreviewCallbackWithBuffer()函数给我们使用

mCamera.addCallbackBuffer(new byte[bufferSize]);
mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName() + ",相机数据间隔:" + (thisT - lastT));
        mCamera.addCallbackBuffer(bytes);
    }
};

//logcat
2022-07-21 09:51:20.038 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.073 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.106 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.139 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.173 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.212 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:38
2022-07-21 09:51:20.241 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.271 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.306 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.338 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:51:20.371 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.405 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.439 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.472 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34

通过日志可以看到我们仍然能够拿到相机的预览数据。这样做优化的内容是setPreviewCallbackWithBuffer()的回调函数onPreviewFrame()中的每一帧数据bytes都是复用同一块缓冲区域，byte[]对象没有变，但是数据的内容改变了，并且该回调不会返回每一帧数据，而是在调用addCallbackBuffer()函数之后才会回调，所以setPreviewCallbackWithBuffer()需要结合addCallbackBuffer()来使用。

这样看来使用setPreviewCallbackWithBuffer()回调来拿相机的预览数据就有2处优化部分了，一个是回调数据对象复用减缓系统的垃圾回收时间，另一个是当我们需要的时候再来拿预览数据，也就是说当我们拿到一帧数据还正在处理时，我不需要回调给我下一帧的数据，当我们把这一帧数据处理完了，再执行addCallbackBuffer()函数通知回调可以给我下一帧数据了。

使用setPreviewCallbackWithBuffer()的代码基本与使用setPreviewCallback()一样，只是最后设置的回调接口不一样。但是注意在执行setPreviewCallbackWithBuffer()函数设置回调之前一定要先执行一次addCallbackBuffer()函数，因为这是配合使用的，不执行addCallbackBuffer()函数setPreviewCallbackWithBuffer()的回调是不会执行的，同理在setPreviewCallbackWithBuffer()的回调中，处理完图像也必须再调用一次addCallbackBuffer()函数，否则后面就不会回调了。

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        //mCamera.setPreviewCallback(mCameraPreviewCallback);
        int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;
        mCamera.addCallbackBuffer(new byte[bufferSize]);
        mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        mCamera.addCallbackBuffer(bytes);
    }
};

第一次执行addCallbackBuffer()函数时，里面的byte[]是创建出来的，但是这个长度怎么计算的呢？这个不是固定的，与相机预览数据的格式有关。相机预览格式我们可以设置，也可以查看。

int previewFormat = mCameraParameters.getPreviewFormat();
System.out.println("相机预览的数据格式:"+previewFormat);

//logcat
17

通过日志查看拿到的相机预览数据格式是17，也就是ImageFormat.NV21，这是Android相机默认的数据格式，当然你也可以通过API去设置预览格式，但是我不推荐你这么做，因为其他的格式预览没有这个快。

mCameraParameters.setPreviewFormat(ImageFormat.JPEG);

当数据格式是ImageFormat.NV21时，这个缓冲区域大小的计算公式是

int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;

这是在网上找的，至于其他格式下怎么计算，如果用的上的时候再去找。

setPreviewCallbackWithBufferAndroidspanclasstoken

有关2022-07-21 Android开发相机预览数据处理优化setPreviewCallbackWithBuffer()的更多相关文章

  1. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  2. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  3. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  4. ruby - 是否可以覆盖 gemfile 进行本地开发？ - 2

    我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？ 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  5. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2

    这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub

  6. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  8. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  9. 微信小程序开发入门与实战（Behaviors使用） - 2

    @作者:SYFStrive @博客首页:HomePage📜：微信小程序📌：个人社区（欢迎大佬们加入）👉：社区链接🔗📌：觉得文章不错可以点点关注👉：专栏连接🔗💃：感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序（🔥）目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中，用于实现

  10. [工业相机] 分辨率、精度和公差之间的关系 - 2

    📢博客主页：https://blog.csdn.net/weixin_43197380📢欢迎点赞👍收藏⭐留言📝如有错误敬请指正！📢本文由Loewen丶原创，首发于CSDN，转载注明出处🙉📢现在的付出，都会是一种沉淀，只为让你成为更好的人✨文章预览：一.分辨率（Resolution）1、工业相机的分辨率是如何定义的？2、工业相机的分辨率是如何选择的？二.精度（Accuracy）1、像素精度（PixelAccuracy）2、定位精度和重复定位精度（RepeatPrecision）三.公差（Tolerance）四.课后作业（Post-ClassExercises）视觉行业的初学者，甚至是做了1~2年

随机推荐