草庐IT

Android 多渠道打包的方案总结

JeffreyWorld 2023-03-28 原文

美团的 Walle 方案:https://github.com/Meituan-Dianping/walle
腾讯的 VasDolly 方案:https://github.com/Tencent/VasDolly
packer-ng-plugin 方案:https://github.com/mcxiaoke/packer-ng-plugin

先从 Github 开源维护的情况看,packer-ng-plugin 项目已经停止维护,Walle 最新的维护是在2年前,VasDolly 最新的维护在5个月前。从开源维护的角度来说,腾讯的 VasDolly 方案,更胜一筹。

可商用的多渠道自动化打包方案

VasDolly

先说使用后的体验:

因为 VasDolly官方最新的版本为 v3.0.4,所以直接集成最新版本的情况,没去试历史旧版本的情况。
项目环境为:

dependencies {
classpath 'com.android.tools.build:gradle:7.0.3'
classpath 'com.tencent.vasdolly:plugin:3.0.4'
}
distributionUrl=https://services.gradle.org/distributions/gradle-7.0.2-all.zip

即可成功编译,并且按教程配置,可以打出对应的渠道包。官方的 Demo 给的就是这个 Gradle 编译环境。打20个渠道包,时间可以控制在1分钟左右。

但是,例如项目环境为:

dependencies {
classpath "com.android.tools.build:gradle:4.1.3"
classpath 'com.tencent.vasdolly:plugin:3.0.4'
}
distributionUrl=https://services.gradle.org/distributions/gradle-6.6-all.zip

编译项目会报这个错:

Unable to load class 'com.android.build.api.extension.AndroidComponentsExtension'.
This is an unexpected error. Please file a bug containing the idea.log file.

VasDolly 实现原理:

https://github.com/Tencent/VasDolly/wiki/VasDolly%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86

通过Gradle生成多渠道包

若是直接编译生成多渠道包,首先要配置渠道文件、渠道包的输出目录和渠道包的命名规则:

channel{
    //指定渠道文件
    channelFile = file("/Users/leon/Downloads/testChannel.txt")
     //多渠道包的输出目录,默认为new File(project.buildDir,"channel")
    outputDir = new File(project.buildDir,"xxx")
    //多渠道包的命名规则,默认为:${appName}-${versionName}-${versionCode}-${flavorName}-${buildType}-${buildTime}
    apkNameFormat ='${appName}-${versionName}-${versionCode}-${flavorName}-${buildType}'
    //快速模式:生成渠道包时不进行校验(速度可以提升10倍以上,默认为false)
    fastMode = false
    //buildTime的时间格式,默认格式:yyyyMMdd-HHmmss
    buildTimeDateFormat = 'yyyyMMdd-HH:mm:ss'
    //低内存模式(仅针对V2签名,默认为false):只把签名块、中央目录和EOCD读取到内存,不把最大头的内容块读取到内存,在手机上合成APK时,可以使用该模式
    lowMemory = false
}

其中,多渠道包的命名规则中,可使用以下字段:

  • appName : 当前project的name
  • versionName : 当前Variant的versionName
  • versionCode : 当前Variant的versionCode
  • buildType : 当前Variant的buildType,即debug or release
  • flavorName : 当前的渠道名称
  • appId : 当前Variant的applicationId
  • buildTime : 当前编译构建日期时间,时间格式可以自定义,默认格式:yyyyMMdd-HHmmss

然后,通过 gradle channelDebuggradle channelRelease 命令分别生成 DebugRelease 的多渠道包。

为了方便临时生成渠道包进行测试,从v2.0.0开始支持添加渠道参数:gradle channelDebug(channelRelease) -Pchannels=yingyongbao,gamecenter,这里通过属性 channels 指定的渠道列表拥有更高的优先级,且和原始的文件方式是互斥的。

根据已有基础包重新生成多渠道包

若是根据已有基础包重新生成多渠道包,首先要配置渠道文件、基础包的路径和渠道包的输出目录:

rebuildChannel {
  //指定渠道文件
  channelFile = file("/Users/leon/Downloads/testReChannel.txt")
  // 已有APK文件地址(必填),如new File(project.rootDir, "/baseApk/app_base.apk"),文件名中的base将被替换为渠道名
  baseApk = 已有APK文件地址(必填)
  //默认为new File(project.buildDir, "rebuildChannel")
  outputDir = 渠道包输出目录
  //快速模式:生成渠道包时不进行校验(速度可以提升10倍以上,默认为false)
  fastMode = false
  //低内存模式(仅针对V2签名,默认为false):只把签名块、中央目录和EOCD读取到内存,不把最大头的内容块读取到内存,在手机上合成APK时,可以使用该模式
  lowMemory = false
}

通过命令行生成渠道包、读取渠道信息:

https://github.com/Tencent/VasDolly/blob/master/command/README.md

读取渠道信息

通过 helper 类库中的 ChannelReaderUtil 类读取渠道信息。

String channel = ChannelReaderUtil.getChannel(getApplicationContext());

如果没有渠道信息,那么这里返回 null,开发者需要自己判断。


Walle

先说使用后的体验:

Walle 官方库已经2年多没更新,v1.1.7 为最新的版本。打20个渠道包,时间也可以控制在1分钟左右。
项目环境为:

dependencies {
classpath 'com.android.tools.build:gradle:4.1.3'
classpath 'com.meituan.android.walle:plugin:1.1.7'
}
distributionUrl=https\://mirrors.cloud.tencent.com/gradle/gradle-6.6-all.zip

即可成功编译,并且按教程配置,可以打出对应的渠道包。
因为 Walle 最新的维护是在2年前,很多依赖的库和 Gradle 版本都太低,所以自己在 Github 仓库去尝试升级维护这个库,地址如下:https://github.com/jeffreyxuworld/MeituanWalle

Walle 实现原理

可看下美团的官方链接:https://tech.meituan.com/2017/01/13/android-apk-v2-signature-scheme.html

捋了一遍原理后,总结如下:
大前提都是针对 APK 签名方案去做的相关事情。
Android 支持以下三种应用签名方案

更细节的要点如下

  • v1 签名不保护 APK 的某些部分,例如 ZIP 元数据。APK 验证程序需要处理大量不可信(尚未经过验证)的数据结构,然后会舍弃不受签名保护的数据。这会导致相当大的受攻击面。此外,APK 验证程序必须解压所有已压缩的条目,而这需要花费更多时间和内存。为了解决这些问题,Android 7.0 中引入了 APK 签名方案 v2。Walle 是基于 APK 签名方案 v2 去做的相关处理,而美团上一代分渠道打包方案是根据 APK 签名方案 v1 去做的,所以现在已经不适用。
  • 该方案会对 APK 的内容进行哈希处理和签名,然后将生成的“APK 签名分块”插入到 APK 中。如需详细了解如何在应用中使用 v2+ 方案,可以阅读以下链接:https://developer.android.com/about/versions/nougat/android-7.0#apk_signature_v2
  • 在验证期间,v2+ 方案会将 APK 文件视为 blob,并对整个文件进行签名检查。对 APK 进行的任何修改(包括对 ZIP 元数据进行的修改)都会使 APK 签名作废。这种形式的 APK 验证不仅速度要快得多,而且能够发现更多种未经授权的修改。
  • APK 签名方案 v2 是一种全文件签名方案,该方案能够发现对 APK 的受保护部分进行的所有更改,从而有助于加快验证速度并增强完整性保证。使用 APK 签名方案 v2 进行签名时,会在 APK 文件中插入一个 APK 签名分块,该分块位于“ZIP 中央目录”部分之前并紧邻该部分。在“APK 签名分块”内,v2 签名和签名者身份信息会存储在 APK 签名方案 v2 分块中。

    新的签名方案会在 ZIP 文件格式的 Central Directory 区块所在文件位置的前面添加一个 APK Signing Block 区块,下面按照 ZIP 文件的格式来分析新应用签名方案签名后的 APK 包。
    整个APK(ZIP文件格式)会被分为以下四个区块: 1. Contents of ZIP entries(from offset 0 until the start of APK Signing Block) 2. APK Signing Block 3. ZIP Central Directory 4. ZIP End of Central Directory

    新应用签名方案的签名信息会被保存在区块2(APK Signing Block)中, 而区块1(Contents of ZIP entries)、区块3(ZIP Central Directory)、区块4(ZIP End of Central Directory)是受保护的,在签名后任何对区块1、3、4的修改都逃不过新的应用签名方案的检查。
    之前的渠道包生成方案是通过在 META-INF 目录下添加空文件,用空文件的名称来作为渠道的唯一标识,之前在 META-INF 下添加文件是不需要重新签名应用的,这样会节省不少打包的时间,从而提高打渠道包的速度。但在新的应用签名方案下 META-INF 已经被列入了保护区了,向 META-INF 添加空文件的方案会对区块1、3、4都会有影响。
  • 可以看出因为 APK 包的区块1、3、4都是受保护的,任何修改在签名后对它们的修改,都会在安装过程中被签名校验检测失败,而区块2(APK Signing Block)是不受签名校验规则保护的,那是否可以在这个不受签名保护的区块2(APK Signing Block)上做文章呢?我们先来看看对区块2格式的描述:
  • 区块2中 APK Signing Block 是由这几部分组成:2个用来标示这个区块长度的8字节 + 这个区块的魔数(APK Sig Block 42)+ 这个区块所承载的数据(ID-value)。我们重点来看一下这个ID-value,它由一个8字节的长度标示+4字节的 ID+它的负载组成。V2的签名信息是以 ID(0x7109871a)的 ID-value 来保存在这个区块中,不知大家有没有注意这是一组 ID-value,也就是说它是可以有若干个这样的 ID-value 来组成。
  • Android 应用在安装时新的应用签名方案是怎么进行校验的呢?通过翻阅 Android 相关部分的源码,发现下面代码段是用来处理上面所说的 ID-value 的:
      public static ByteBuffer findApkSignatureSchemeV2Block(
              ByteBuffer apkSigningBlock,
              Result result) throws SignatureNotFoundException {
          checkByteOrderLittleEndian(apkSigningBlock);
          // FORMAT:
          // OFFSET       DATA TYPE  DESCRIPTION
          // * @+0  bytes uint64:    size in bytes (excluding this field)
          // * @+8  bytes pairs
          // * @-24 bytes uint64:    size in bytes (same as the one above)
          // * @-16 bytes uint128:   magic
          ByteBuffer pairs = sliceFromTo(apkSigningBlock, 8, apkSigningBlock.capacity() - 24);
    
          int entryCount = 0;
          while (pairs.hasRemaining()) {
              entryCount++;
              if (pairs.remaining() < 8) {
                  throw new SignatureNotFoundException(
                          "Insufficient data to read size of APK Signing Block entry #" + entryCount);
              }
              long lenLong = pairs.getLong();
              if ((lenLong < 4) || (lenLong > Integer.MAX_VALUE)) {
                  throw new SignatureNotFoundException(
                          "APK Signing Block entry #" + entryCount
                                  + " size out of range: " + lenLong);
              }
              int len = (int) lenLong;
              int nextEntryPos = pairs.position() + len;
              if (len > pairs.remaining()) {
                  throw new SignatureNotFoundException(
                          "APK Signing Block entry #" + entryCount + " size out of range: " + len
                                  + ", available: " + pairs.remaining());
              }
              int id = pairs.getInt();
              if (id == APK_SIGNATURE_SCHEME_V2_BLOCK_ID) {
                  return getByteBuffer(pairs, len - 4);
              }
              result.addWarning(Issue.APK_SIG_BLOCK_UNKNOWN_ENTRY_ID, id);
              pairs.position(nextEntryPos);
          }
    
          throw new SignatureNotFoundException(
                  "No APK Signature Scheme v2 block in APK Signing Block");
      }
    
    上述代码中关键的一个位置是 if (id == APK_SIGNATURE_SCHEME_V2_BLOCK_ID) {return getByteBuffer(pairs, len - 4);},通过源代码可以看出 Android 是通过查找 IDAPK_SIGNATURE_SCHEME_V2_BLOCK_ID = 0x7109871aID-value,来获取 APK Signature Scheme v2 Block,对这个区块中其他的 ID-value 选择了忽略。
    当看到这里时,我们可不可以设想一下,提供一个自定义的ID-value并写入该区域,从而为快速生成渠道包服务呢?
    怎么向 ID-value 中添加信息呢?通过阅读 ZIP 的文件格式和 APK Signing Block 格式的描述,笔者通过编写下面的代码片段进行验证,发现通过在已经被新的应用签名方案签名后的 APK 中添加自定义的 ID-value,是不需要再次经过签名就能安装的,下面是部分代码片段。
    public void writeApkSigningBlock(DataOutput dataOutput) {
          long length = 24;
          for (int index = 0; index < payloads.size(); ++index) {
              ApkSigningPayload payload = payloads.get(index);
              byte[] bytes = payload.getByteBuffer();
              length += 12 + bytes.length;
          }
    
          ByteBuffer byteBuffer = ByteBuffer.allocate(Long.BYTES);
          byteBuffer.order(ByteOrder.LITTLE_ENDIAN);
          byteBuffer.putLong(length);
          dataOutput.write(byteBuffer.array());
    
          for (int index = 0; index < payloads.size(); ++index) {
              ApkSigningPayload payload = payloads.get(index);
              byte[] bytes = payload.getByteBuffer();
    
              byteBuffer = ByteBuffer.allocate(Integer.BYTES);
              byteBuffer.order(ByteOrder.LITTLE_ENDIAN);
              byteBuffer.putInt(payload.getId());
              dataOutput.write(byteBuffer.array());
    
              dataOutput.write(bytes);
          }
          ...
      }
    
  • 对新的应用签名方案生成的 APK 包中的 ID-value 进行扩展,提供自定义 ID-value(渠道信息),并保存在 APK 中。而 APK 在安装过程中进行的签名校验,是忽略我们添加的这个 ID-value 的,这样就能正常安装了。
  • App 运行阶段,可以通过 ZIPEOCD(End of central directory)Central directory 等结构中的信息(会涉及 ZIP 格式的相关知识,这里不做展开描述)找到我们自己添加的 ID-value,从而实现获取渠道信息的功能。
  • 新一代渠道包生成工具完全是基于 ZIP 文件格式和 APK Signing Block 存储格式而构建,基于文件的二进制流进行处理,有着良好的处理速度和兼容性,能够满足不同的语言编写的要求,目前美团的方案采用的是 Java+Groovy 开发, 该工具主要有四部分组成:
    1. 用于写入 ID-value 信息的 Java 类库
    2. Gradle 构建插件用来和Android的打包流程进行结合
    3. 用于读取 ID-value 信息的 Java 类库
    4. 用于供 com.android.application 使用的读取渠道信息的 AAR
    这样,每打一个渠道包只需复制一个 APK,然后在 APK 中添加一个 ID-value 即可,这种打包方式速度非常快,对一个30M大小的 APK 包只需要100多毫秒(包含文件复制时间)就能生成一个渠道包,而在运行时获取渠道信息只需要大约几毫秒的时间。

最后总结:

  • 如果项目之前是通过 AS 手动打包的形式,在主 App 工程的 build.gradleAndroidManifest.xml 里做了一些渠道包相关信息的配置。现在用了 VasDollyWalle 的方案,那么也要对自己工程里相关的代码进行更改。
    例如:
  1. AndroidManifest.xml 里,友盟 SDK 需要获取应用的渠道名称
<meta-data
       android:name="UMENG_CHANNEL"
       android:value="${UMENG_CHANNEL_VALUE}" />
  1. 在主 App 工程的 build.gradle 中,如果写了如下代码:
  flavorDimensions "versionCode", "serverUrl"
           applicationVariants.all { variant ->
                variant.outputs.all { output ->
                    def fileName
                    if (variant.buildType.name == "release") {
                        fileName = "XXAPP-${variant.productFlavors[0].name}-${variant.versionName}-Android.apk"
                    } else {
                        fileName = "XXAPP-Android.apk"
                    }
                    outputFileName = fileName
                }
            }
productFlavors {
        yingyongbao {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "yingyongbao"]
        }
        huawei {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "huawei"]
        }
        xiaomi {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "xiaomi"]
        }
        oppo {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "oppo"]
        }
        vivo {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "vivo"]
        }
        weibo {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "weibo"]
        }
        bzhan {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "bzhan"]
        }
        toutiao {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "toutiao"]
        }
        guangdiantong {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "guangdiantong"]
        }
        baidu {
            dimension "versionCode"
            manifestPlaceholders = [UMENG_CHANNEL_VALUE: "baidu"]
        }
        urlTest {
            dimension "serverUrl"
            buildConfigField("int", "SERVER_TYPE", "1")
        }
        urlOnline {
            dimension "serverUrl"
            buildConfigField("int", "SERVER_TYPE", "2")
        }
    }

这些渠道包相关的配置,都会和 VasDollyWalle 的方案有所冲突,所以要按照 VasDollyWalle 官方教程里的写法来写。

  • 因为 packer-ng-plugin 项目已经停止维护,V2签名方案也不支持,所以没去试这个的情况。
  • Walle 对项目里的 gradle 的版本,没有较高版本的要求,这一点对于一些使用较低版本 gradle 的项目,可以更方便的去集成。也许 VasDolly 的旧版本也可以做到,但是既然有最新版本的 SDK,一般不建议去使用历史的旧版本。

有关Android 多渠道打包的方案总结的更多相关文章

  1. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  2. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位(1bit)。SPI数据收发是数据交换,因此接收数据时从第二个字节开始才是有效数据,也就是数据整体向右移一个字节(1byte)。请教前辈之后也没有得到解决,通过在网上查阅前人经验终于解决问题,所以写一个避坑经验总结。实际背景:MCU与一款芯片使用spi通信,MCU作为主机,芯片作为从机。这款芯片采用的是它规定的六线SPI,多了两根线:RDY和INT,这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

  3. 安卓apk修改(Android反编译apk) - 2

    最近因为项目需要,需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源,并重新打包,签名生成新的自定义的apk,下面我来介绍一下我的实现过程。APK修改,分为以下几步:反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机(针对系统自带apk,其他软件免root)3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了,直接进入主题:按键win+R输入cmd,打开命令窗口,并将路

  4. Ruby 守护进程和 JRuby - 备选方案 - 2

    我有一个应用程序正在从Ruby迁移到JRuby(由于需要通过Java提供更好的Web服务安全支持)。我使用的gem之一是daemons创建后台作业。问题在于它使用fork+exec来创建后台进程,但这对JRuby来说是禁忌。那么-是否有用于创建后台作业的替代gem/wrapper?我目前的想法是只从shell脚本调用rake并让rake任务永远运行......提前致谢,克里斯。更新我们目前正在使用几个与Java线程相关的包装器,即https://github.com/jmettraux/rufus-scheduler和https://github.com/philostler/acts

  5. Simulink方法总结和避坑指南(一)——Simulink入门与基本调试方法 - 2

    文章目录一、项目场景二、基本模块原理与调试方法分析——信源部分:三、信号处理部分和显示部分:四、基本的通信链路搭建:四、特殊模块:interpretedMATLABfunction:五、总结和坑点提醒一、项目场景  最近一个任务是使用simulink搭建一个MIMO串扰消除的链路,并用实际收到的数据进行测试,在搭建的过程中也遇到了不少的问题(当然这比vivado里面的debug好不知道多少倍)。准备趁着这个机会,先以一个很基本的通信链路对simulink基础和相关的debug方法进行总结。  在本篇中,主要记录simulink的基本原理和基本的SISO通信传输链路(QPSK方式),计划在下篇记

  6. 关于Qt程序打包后运行库依赖的常见问题分析及解决方法 - 2

    目录一.大致如下常见问题:(1)找不到程序所依赖的Qt库version`Qt_5'notfound(requiredby(2)CouldnotLoadtheQtplatformplugin"xcb"in""eventhoughitwasfound(3)打包到在不同的linux系统下,或者打包到高版本的相同系统下,运行程序时,直接提示段错误即segmentationfault,或者Illegalinstruction(coredumped)非法指令(4)ldd应用程序或者库,查看运行所依赖的库时,直接报段错误二.问题逐个分析,得出解决方法:(1)找不到程序所依赖的Qt库version`Qt_5'

  7. ruby - 如何打包 Ruby 应用程序? - 2

    我有一个使用Qt4绑定(bind)的Ruby应用程序。我希望能够打包并发布它。我查看了其他应用程序,例如rake和puppet,以了解它们是如何打包的。rake和puppet都被打包为gems。当我意识到rake和puppet都是更多的系统级工具而不是用户级应用程序时,我开始走这条路。我也看过orca,但它只是windows。除了gem或orca,是否还有其他选项可用于打包RubyGUI应用程序?我想要跨平台的东西。 最佳答案 看看platformgem规范。您可以为您的代码支持的每个平台打包一个gem。Somegemsconsis

  8. ruby-on-rails - 能够处理 rar/tar/zip/7z 的 Ruby/rubyzip 替代方案? - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,describetheproblem以及迄今为止为解决该问题所做的工作。关闭9年前。Improvethisquestion我想知道是否有人知道Ruby的ruby​​zip替代品,它可以处理各种格式,特别是zip/rar/7z?我知道libarchive,但它对我的目的来说并不完整(它是一个很好的gem)。(澄清一下,libarchive-对我不起作用-因为

  9. ruby-on-rails - 对于 Ruby 应用程序,是否有比 Sanitize 更好的替代方案? - 2

    我爱Sanitize.这是一个了不起的实用程序。我遇到的唯一问题是,它需要永远准备一个开发环境,因为它使用Nokogiri,这对编译时间来说是一种痛苦。是否有任何程序可以在不使用Nokogiri的情况下执行Sanitize的操作(如果没有别的,只是温和地执行它的操作)?这将以指数方式提供帮助! 最佳答案 Rails有自己的SanitizeHelper。根据http://api.rubyonrails.org/classes/ActionView/Helpers/SanitizeHelper.html,它将Thissanitizehe

  10. ruby-on-rails - rails3 中 cron 作业的解决方案 - 2

    我尝试每天在我的Rails应用程序中自动记录一些数据。我想知道是否有人知道一个好的解决方案?我找到了https://github.com/javan/whenever,但我想确保在选择之前了解所有选项。谢谢!艾略特 最佳答案 我真的很喜欢whenever-这是一个很棒的Gem,我已经在生产中使用了它。关于它还有一个很好的Railscasts插曲:http://railscasts.com/episodes/164-cron-in-ruby 关于ruby-on-rails-rails3中c

随机推荐