草庐IT

我只用了3步,实现了一个逼真的3D场景渲染

HMSCore技术团队 2023-03-28 原文
给3D模型及环境场景渲染出兼具质感和真实感的材质效果,需要经历几步?

显然,目前的3D模型材质渲染技术,还无法实现简单几步就能搞定的标准化作业来量化,完成一个质量过关的3D模型渲染,一般需要:

1、准备一个内容丰富的贴图、材质库:渲染想要的材质效果,需要根据具体模型场景的形状细节及复杂程度,针对性收集对应的素材外观和纹理素材,耗时与模型的复杂程度呈正比,并且市面上大部材质付费使用,造价成本高。

2、从零开始调参:现有的3D建模工具都要以丰富的参数来实现建模渲染操作,通过调整参数来设置和控制模型。

3、渲染效果依赖美术经验:3D建模师逐渐成为紧俏的行业人才,也说明了3D模型制作需要技术和经验老道的从业者,伴随着模型及场景的多样化以及制作的精细化,美术经验直接关系成品质量水准。

传统作业方式确实细活慢工,但逆袭繁琐步骤的材质生成能力已经出现啦!今天给大家带来的材质生成能力,简单易用,渲染高质量材质效果,只需3步!

以较为常见的3D游戏所需的复杂场景举例,给一个多物体组合的复杂场景渲染材质,只需如下的简单操作:

1、使用RGB相机拍摄所需材质实物照片。

2、将RGB照片自动生成材质素材。

3、材质贴图,完成渲染。

华为3D建模服务提供的材质生成能力,将操作繁琐的材质生成及渲染过程简化提速,基于AI辅助材质生成,提升三维模型外观创作效率,将技术美术的经验和制作规范,固化为材质预设实例,复用有价值的经验与规范,提升内容制作效率,降低材质制作成本。

材质生成能力

提供将RGB图像转换为PBR材质的能力,用户通过集成SDK,仅需拍摄一张或多张RGB图片,便可一键生成4种材质贴图,包括diffuse map /normal map/specular map/roughness map。AI辅助PBR素材生成,从照片生成材质,解放人力操作成本,满足消费级3D材质应用。

输入图片文件规格

  • 软硬件要求: 普通RGB手机,不要求RGB-D\LiDAR, 全Android机型
  • 支持类型:混凝土、大理石、岩石、碎石、砖、石膏、黏土、金属、木材、树皮、皮革、织物、漆面、塑料、合成材料、碎石、大地(草地、沙滩等)
  • 输入图像的要求:输入图像分辨率达到1~4K,输入图像中无接缝、无亮斑、阴影、倒影
  • 输出贴图分辨率:1k(10241024px) 2k(20482048px)
  • SDK包大小:88KB
  • 准确率:渲染后SSIM>0.9
应用场景

3D建模的材质生成能力一键实现现实中各色纹理的木材转化为PBR材质,具有高还原度,极大提高场景的构建效率。简单易用,效果佳,广泛应用于3D内容制作领域。

  • 电商行业:使用3D模型展示商品,为用户提供逼近真实的线上购物体验。
  • 展览行业:高价值的展品及文物,以3D模型形式展示,方便用户细致观览展品细节。
  • 游戏行业:如室内场景里地板、桌子、墙面等所需的木材,打造身临其境的游戏体验。

开发准备

1、集成HMS Core SDK

1.1、添加当前应用的AppGallery Connect配置文件

如果在AppGallery Connect中开通了相关服务则需要将“agconnect-services.json”文件添加到您的App中。

步骤 1:登录AppGallery Connect网站,点击“我的项目”。

步骤 2:在项目列表中找到您的项目,在项目中点击需要集成HMS Core SDK的应用。

步骤 3:在“项目设置 > 常规”页面的“应用”区域,点击“agconnect-services.json”下载配置文件。

步骤 4:将“agconnect-services.json”文件拷贝到应用级根目录下。

1.2、配置HMS Core SDK的Maven仓地址

步骤 1:打开Android Studio项目级“build.gradle”文件。

步骤 2:添加HUAWEI agcp插件以及Maven代码库。

  • 在“buildscript > repositories”中配置HMS Core SDK的Maven仓地址。
  • 在“allprojects > repositories”中配置HMS Core SDK的Maven仓地址。
  • 如果App中添加了“agconnect-services.json”文件则需要在“buildscript > dependencies”中增加agcp插件配置。
buildscript { repositories { google() jcenter() // 配置HMS Core SDK的Maven仓地址。 maven {url 'https://developer.huawei.com/repo/'} } dependencies { ... // 增加agcp插件配置。 classpath 'com.huawei.agconnect:agcp:1.4.2.300' } } allprojects { repositories { google() jcenter() // 配置HMS Core SDK的Maven仓地址。 maven {url 'https://developer.huawei.com/repo/'} } } 注:Maven仓地址无法直接在浏览器中打开访问,只能在IDE中配置。如需添加多个Maven代码库,请将华为公司的Maven仓地址配置在最后。

1.3、添加编译依赖

步骤 1:打开应用级的“build.gradle”文件。

步骤 2:在“dependencies”中添加如下编译依赖。

  • 材质生成
dependencies { implementation 'com.huawei.hms:modeling3d-material-generate:{version}' }
  • 3D物体建模
dependencies { implementation 'com.huawei.hms:modeling3d-object-reconstruct:{version}' } 注:{version}替换为实际的Kit依赖版本,版本号索引请参见2 版本更新说明。例如:implementation 'com.huawei.hms:modeling3d-material-generate:1.0.0.300'和implementation 'com.huawei.hms:modeling3d-object-reconstruct:1.0.0.300'。

步骤 3:添加agcp插件配置。请根据实际情况选择:

  • 方式一:在文件头部声明下一行添加如下配置。
apply plugin: 'com.huawei.agconnect'
  • 方式二:在plugins中添加如下配置。
plugins { id 'com.android.application' // 添加如下配置 id 'com.huawei.agconnect' }

2、多语言设置

  • 如果您的应用不需要设置只支持某些特定语言,则请忽略本步骤。应用将默认支持所有HMS Core SDK支持的语言。
  • 如果您的应用需要设置只支持某些特定语言,则可通过本步骤配置。
a. 打开应用级的“build.gradle”文件。

b.在“android > defaultConfig”中新增“resConfigs”,配置需要支持的语种,配置格式如下:

android { defaultConfig { ... resConfigs "en", "zh-rCN", "需要支持的其他语言" } } HMS Core SDK支持的语言列表请参见HMS Core SDK支持的语言。

3、同步工程

在完成以上的配置后,点击工具栏中的gradle同步图标,完成“build.gradle”文件的同步,将相关依赖下载到本地。

注:如果出现错误,请检查网络连接是否正常,以及检查“build.gradle”文件是否正确。

4、配置混淆脚本

您编译APK前需要配置混淆配置文件,避免混淆HMS Core SDK导致功能异常。

步骤 1:在应用级根目录下打开混淆配置文件“proguard-rules.pro”,加入排除HMS Core SDK的混淆配置脚本。

-ignorewarnings -keepattributes *Annotation* -keepattributes Exceptions -keepattributes InnerClasses -keepattributes Signature -keepattributes SourceFile,LineNumberTable -keep class com.huawei.hianalytics.**{*;} -keep class com.huawei.updatesdk.**{*;} -keep class com.huawei.hms.**{*;} 步骤 2:如果您使用了AndResGuard,需要在应用级的“build.gradle”文件中加入AndResGuard允许清单。

"R.string.hms*", "R.string.connect_server_fail_prompt_toast", "R.string.getting_message_fail_prompt_toast", "R.string.no_available_network_prompt_toast", "R.string.third_app_*", "R.string.upsdk_*", "R.layout.hms*", "R.layout.upsdk_*", "R.drawable.upsdk*", "R.color.upsdk*", "R.dimen.upsdk*", "R.style.upsdk*", "R.string.agc*"

5、添加权限

在调用材质生成能力时,开发者需要在AndroidManifest.xml文件中申请如下权限:

<!-- 允许程序写入材质贴图文件和读取需要处理的数据 --> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" /> <!-- 网络权限 数据上传和材质贴图下载使用 --> <uses-permission android:name="android.permission.INTERNET" /> 在调用3D物体建模能力时,开发者需要在AndroidManifest.xml文件中申请如下权限:

<!-- 允许程序写入模型文件和读取需要处理的数据 --> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /> <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" /> <!-- 网络权限 数据上传和模型下载使用 --> <uses-permission android:name="android.permission.INTERNET" />

开发步骤

在开始API开发工作之前,完成开发准备工作同时请确保工程中已经配置配置HMS Core SDK的Maven仓地址,并且完成了本服务的SDK集成。

  1. 使用云侧服务的能力,需要使用“agconnect-services.json”里的api_key值,在应用初始化时通过api_key或者AccessToken来设置应用鉴权信息,AccessToken的优先级较高。
  • (推荐)通过setAccessToken方法设置AccessToken,在应用启动时初始化设置一次即可,无需多次设置。
MaterialGenApplication.getInstance().setAccessToken("your AccessToken"); 从“ageonnect-services.json”中的api_key获取Access Token可参见基于OAuth 2.0开放鉴权客户端模式。

  • 通过setApiKey方法设置api_key,在应用启动时初始化设置一次即可,无需多次设置。
MaterialGenApplication.getInstance().setApiKey("your api_key"); 在AppGallery Connect上注册应用时,会给你的应用分配api_key。

  1. 新建材质生成引擎和材质生成配置器并初始化材质生成引擎。
// 新建材质生成引擎,传入当前context。 Modeling3dTextureEngine engine = Modeling3dTextureEngine.getInstance(context); // 新建材质生成配置器。 Modeling3dTextureSetting setting = new Modeling3dTextureSetting.Factory() // 设置工作模式为AI模式。 .setTextureMode(Modeling3dTextureConstants.AlgorithmMode.AI) .create();
  1. 新建侦听器回调,用于处理材质生成上传结果。
Modeling3dTextureUploadListener uploadListener = new Modeling3dTextureUploadListener() { public void onResult(String taskId, Modeling3dTextureUploadResult result, Object ext) { // 获取材质生成上传图片结果。 if (result.isComplete()) { // 上传结果处理。 } } @Override public void onError(String taskId, int errorCode, String message) { // 上传错误回调函数。 } @Override public void onUploadProgress(String taskId, double progress, Object ext) { // 预留接口。 } };
  1. 上传采集图片至云侧。
// 获取材质生成任务ID,传入配置器。 Modeling3dTextureInitResult modeling3dTextureInitResult = engine.initTask(setting); String taskId = modeling3dTextureInitResult.getTaskId(); if (taskId == null || taskId.equals("")) { Log.e("", "get taskId error " + modeling3dTextureInitResult.getRetMsg()); } else { // 设置上传监听器。 engine.setTextureUploadListener(uploadListener); // 异步上传,传入任务id和图片文件所在文件夹路径。 engine.asyncUploadFile(taskId, filePath); }
  1. 查询云侧材质生成进度。
// 新建材质生成任务处理实例,传入当前context。 Modeling3dTextureTaskUtils taskUtils = Modeling3dTextureTaskUtils.getInstance(context); // 查询材质生成进度。 Modeling3dTextureQueryResult queryResult = taskUtils.queryTask(taskId);
  1. 新建侦听器回调,用于处理材质生成下载结果。
Modeling3dTextureDownloadListener downloadListener = new Modeling3dTextureDownloadListener() { public void onResult(String taskId, Modeling3dTextureDownloadResult result, Object ext) { // 获取材质生成下载贴图结果通知。 if (result.isComplete()) { // 下载结果处理。 } } @Override public void onError(String taskId, int errorCode, String message) { // 下载错误回调函数。 } @Override public void onDownloadProgress(String taskId, double progress, Object ext) { // 预留接口。 } };
  1. 下载材质生成贴图。
// 设置下载监听器。 engine.setTextureDownloadListener(downloadListener); // 下载材质贴图,传入任务id和保存路径。 engine.asyncDownloadTexture(taskId, savePath);
  1. 调用材质生成同步接口,可以实时获取生成贴图。
// 同步接口,传入图片文件路径、保存贴图路径、配置器。 int result = engine.syncGenerateTexture(filePath, downloadPath, setting);
  1. 删除材质生成任务。
int ret = taskUtils.deleteTask(taskId); 了解更多内容>>

访问华为3D建模服务官网

获取华为3D建模开发指导文档

华为HMS Core官方论坛

华为3D建模开源仓库地址:GitHubGitee

解决集成问题请到Stack Overflow

关注我们,第一时间了解 HMS Core 最新技术资讯~

有关我只用了3步,实现了一个逼真的3D场景渲染的更多相关文章

  1. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  3. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  4. ruby-on-rails - Rails HTML 请求渲染 JSON - 2

    在我的Controller中,我通过以下方式在我的index方法中支持HTML和JSON:respond_todo|format|format.htmlformat.json{renderjson:@user}end在浏览器中拉起它时,它会自然地以HTML呈现。但是,当我对/user资源进行内容类型为application/json的curl调用时(因为它是索引方法),我仍然将HTML作为响应。如何获取JSON作为响应?我还需要说明什么? 最佳答案 您应该将.json附加到请求的url,提供的格式在routes.rb的路径中定义。这

  5. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  6. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

  7. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  8. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案

  9. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  10. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

随机推荐