草庐IT

android - 同步相机预览和处理

coder 2023-11-21 原文

我正在设计一个具有 OpenGL 处理管道(着色器集合)并同时要求最终用户查看未处理相机预览的应用程序。

举个例子，假设您想向用户显示相机预览，同时计算从相机接收到的场景中红色对象的数量，但是您使用任何着色器来计算对象数量，例如色调过滤等不应该被用户看到。

我该如何正确设置它？

我知道我可以设置相机预览，然后在回调中接收 YUV 格式的相机帧数据，然后将其转储到 OpenGL 纹理中并以这种方式处理帧，但是，这会带来性能问题。我必须将数据从相机硬件往返到 VM，然后将其传回 GPU 内存。我正在使用 SurfaceTexture 以 OpenGL 可理解的格式直接从相机获取数据，并将其传递给我的着色器以解决此问题。

我以为我可以向最终用户显示相同的未处理的 SurfaceTexture，但是 TextureView 没有我可以传递它的构造函数或 setter SurfaceTexture 我想让它渲染。它总是创建自己的。

这是我当前设置的概述:

  • GLRenderThread:此类从 Thread 扩展，设置 OpenGL 上下文、显示等，并使用 SurfaceTexture 作为表面(eglCreateWindowSurface 的第三个参数)。
  • GLFilterChain:对输入纹理执行检测的着色器集合。
  • Camera:使用单独的 SurfaceTexture 作为 GLFilterChain 的输入并获取相机的预览
  • 最后是显示 GLRenderThread 的 SurfaceTexture 的 TextureView

显然，通过此设置，我向用户展示了处理后的帧，这不是我想要的。此外，帧的处理不是实时的。基本上，我通过链运行来自 Camera 的输入一次，一旦完成所有过滤器，我调用 updateTexImage从相机中抓取下一帧。我在 Nexus 4 上的处理速度约为每秒 10 帧。

我觉得我可能需要使用 2 个 GL 上下文，一个用于实时预览，一个用于处理，但我不确定。我希望有人能将我推向正确的方向。

最佳答案

你能上传一些你正在使用的代码吗？

您也许可以在为最初用于显示预览的表面 View 创建并绑定(bind)到表面 View 的纹理上调用 glDrawArrays，然后刷新它并将单独的纹理与其他纹理绑定(bind)以进行分析？像

GLES20.glUseProgram(simpleProgram);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textures[0]);
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);

GLES20.glUseProgram(crazyProgram);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textures[1]);
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);

将相机的预览表面纹理绑定(bind)到纹理[0]，然后为纹理[1]创建一个单独的表面纹理

也许吧？

关于android - 同步相机预览和处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18449162/

android同步SurfaceTexturesectionGLESopengl-es

有关android - 同步相机预览和处理的更多相关文章

  1. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  2. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  3. [工业相机] 分辨率、精度和公差之间的关系 - 2

    📢博客主页：https://blog.csdn.net/weixin_43197380📢欢迎点赞👍收藏⭐留言📝如有错误敬请指正！📢本文由Loewen丶原创，首发于CSDN，转载注明出处🙉📢现在的付出，都会是一种沉淀，只为让你成为更好的人✨文章预览：一.分辨率（Resolution）1、工业相机的分辨率是如何定义的？2、工业相机的分辨率是如何选择的？二.精度（Accuracy）1、像素精度（PixelAccuracy）2、定位精度和重复定位精度（RepeatPrecision）三.公差（Tolerance）四.课后作业（Post-ClassExercises）视觉行业的初学者，甚至是做了1~2年

  4. 安卓apk修改(Android反编译apk) - 2

    最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路

  5. Ruby-vips 图像处理库。有什么好的使用示例吗？ - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道，是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接，我们将不胜感激!如果有ruby​​-

  6. ruby - Faye WebSocket，关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本，它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

  7. ruby - 如何使用 Ruby HTTP::Net 处理 404 错误？ - 2

    我正在尝试解析网页，但有时会收到404错误。这是我用来获取网页的代码:result=Net::HTTP::getURI.parse(URI.escape(url))如何测试result是否为404错误代码？ 最佳答案 像这样重写你的代码:uri=URI.parse(url)result=Net::HTTP.start(uri.host,uri.port){|http|http.get(uri.path)}putsresult.codeputsresult.body这将打印状态码和正文。

  8. ruby-on-rails - 使用 Ruby 正确处理 Stripe 错误和异常以实现一次性收费 - 2

    我查看了Stripedocumentationonerrors，但我仍然无法正确处理/重定向这些错误。基本上无论发生什么，我都希望他们返回到edit操作(通过edit_profile_path)并向他们显示一条消息(无论成功与否)。我在edit操作上有一个表单，它可以POST到update操作。使用有效的信用卡可以正常工作(费用在Stripe仪表板中)。我正在使用Stripe.js。classExtrasController5000,#amountincents:currency=>"usd",:card=>token,:description=>current_user.email)

  9. ruby-on-rails - Rails 处理 .Erb 与 Nils - 2

    当profile为nil时，总是让我感到悲伤...我该怎么办？ 最佳答案 在View中使用变量之前，始终检查变量是否为nil。我确信这个问题有更优雅的解决方案，但这应该能让您入门。 关于ruby-on-rails-Rails处理.Erb与Nils，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/2709605/

  10. ruby-on-rails - 如何在多个环境中处理 OmniAuth 回调？ - 2

    我有一个应用程序专门使用Facebook作为身份验证提供程序，并正确设置了生产模式的回调。为了让它工作，您需要为您的Facebook应用程序提供一个站点URL和一个用于回调的站点域，在我的例子中是http://appname.heroku.com和appname。heroku.com分别。问题是我的Controller设置为只允许经过身份验证的session，所以我无法在开发模式下查看我的应用程序，因为Facebook应用程序的域显然没有设置为本地主机。如何在不更改Facebook设置的情况下解决这个问题？ 最佳答案 创建另一个域l

随机推荐