关于protocol buffers：如何直接从protobuf创建GRPC客户端而不用编译成java代码

codeneng 2023-03-28 原文

How to create GRPC client directly from protobuf without compiling it into java code

使用 GRPC 时，我们需要通过协议缓冲区编译器 (protoc) 或使用 Gradle 或 Maven protoc 构建插件从我们的 .proto 服务定义生成 gRPC 客户端和服务器接口。

1	Flow now: protobuf file -> java code -> gRPC client.

那么，有没有办法跳过这一步？

如何创建一个通用的GRPC客户端，可以直接从protobuf文件调用服务器而不编译成java代码？
或者，有没有办法在运行时生成代码？

1	Flow expect: protobuf file -> gRPC client.

我想构建一个通用的 gRPC 客户端系统，输入是 protobuf 文件以及方法、包、消息请求的描述......而不必为每个 protobuf 重新编译。

非常感谢。

stackoverflow.com/questions/18836727/…
groups.google.com/d/msg/protobuf/bWlJaaMmx4Q/kIYJ1-5YRb0J
stackoverflow.com/q/52368593/9488752

Protobuf 系统确实需要运行 protoc。但是，可以跳过生成的代码。除了将 --java_out 和 --grpc_java_out 之类的东西传递给 protoc 之外，您还可以传递 --descriptor_set_out=FILE ，它会将 .proto 文件解析为描述符文件。描述符文件是原始编码的 FileDescriptorSet。这与反射服务使用的基本格式相同。

一旦你有了一个描述符，你就可以一次加载一个 FileDescriptor 并创建一个 DynamicMessage。

那么对于 gRPC 部分，您需要创建一个 gRPC MethodDescriptor。

1
2
3
4
5
6
7
8
9
10
11

MethodDescriptor.<DynamicMessage, DynamicMessage>newBuilder()
// UNKNOWN is fine, but the"correct" value can be computed from
// methodDesc.toProto().getClientStreaming()/getServerStreaming()
.setType(MethodDescriptor.MethodType.UNKNOWN)
.setFullMethodName(MethodDescriptor.generateFullMethodName(
serviceDesc.getFullName(), methodDesc.getName()))
.setRequestMarshaller(ProtoUtils.marshaller(
DynamicMessage.newBuilder(methodDesc.getInputType()).buildPartial()))
.setResponseMarshaller(ProtoUtils.marshaller(
DynamicMessage.newBuilder(methodDesc.getOutputType()).buildPartial()))
.build();

此时你已经拥有了你需要的一切，并且可以在 gRPC 中调用 Channel.newCall(method, CallOptions.DEFAULT)。您还可以自由地使用 ClientCalls 来使用更类似于Stubbing API 的东西。

所以动态调用绝对是可能的，并且用于诸如grpcurl之类的东西。但这也不是一件容易的事，所以一般只在必要时才做。

我是用Java做的，步骤是：

调用反射服务通过方法名获取FileDescriptorProto列表

通过包名、服务名从 FileDescriptorProto 列表中获取方法的 FileDescriptor

从 ServiceDescriptor 中获取 MethodDescriptor，从 FileDescriptor 中获取

通过 MethodDescriptor 生成一个 MethodDescriptor<DynamicMessage, DynamicMessage>

从 JSON 或其他内容构建请求 DynamicMessage

调用方法

将响应内容从 DynamicMessage 响应解析为 JSON

您可以在项目 helloworlde/grpc-java-sample#reflection

中参考完整示例

而proto是：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

syntax ="proto3";

package io.github.helloworlde.grpc;

option go_package ="api;grpc_gateway";
option java_package ="io.github.helloworlde.grpc";
option java_multiple_files = true;
option java_outer_classname ="HelloWorldGrpc";

service HelloService{
rpc SayHello(HelloMessage) returns (HelloResponse){
}
}

message HelloMessage {
string message = 2;
}

message HelloResponse {
string message = 1;
}

为这个 proto 自己启动服务器，完整的 Java 代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259

import com.google.protobuf.ByteString;
import com.google.protobuf.DescriptorProtos;
import com.google.protobuf.Descriptors;
import com.google.protobuf.DynamicMessage;
import com.google.protobuf.InvalidProtocolBufferException;
import com.google.protobuf.TypeRegistry;
import com.google.protobuf.util.JsonFormat;
import io.grpc.CallOptions;
import io.grpc.ManagedChannel;
import io.grpc.ManagedChannelBuilder;
import io.grpc.MethodDescriptor;
import io.grpc.protobuf.ProtoUtils;
import io.grpc.reflection.v1alpha.ServerReflectionGrpc;
import io.grpc.reflection.v1alpha.ServerReflectionRequest;
import io.grpc.reflection.v1alpha.ServerReflectionResponse;
import io.grpc.stub.ClientCalls;
import io.grpc.stub.StreamObserver;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;

import java.util.List;
import java.util.Map;
import java.util.Objects;
import java.util.concurrent.TimeUnit;
import java.util.stream.Collectors;

@Slf4j
public class ReflectionCall {

public static void main(String[] args) throws InterruptedException {
// ????°??–1?3???????????a?"ˉ??? package.service.method ??–è€… package.service
String methodSymbol ="io.github.helloworlde.grpc.HelloService.SayHello";
String requestContent ="{"message": "Reflection"}";

// ?????o Channel
ManagedChannel channel = ManagedChannelBuilder.forAddress("127.0.0.1", 9090)
.usePlaintext()
.build();
// ????"¨ Channel ?????o BlockingStub
ServerReflectionGrpc.ServerReflectionStub reflectionStub = ServerReflectionGrpc.newStub(channel);
// ?"??o"è§??ˉ???¨
StreamObserver<ServerReflectionResponse> streamObserver = new StreamObserver<ServerReflectionResponse>() {
@Override
public void onNext(ServerReflectionResponse response) {
try {
// ??aé?€è|??…3?3¨?–???????è?°?±????????"??o"
if (response.getMessageResponseCase() == ServerReflectionResponse.MessageResponseCase.FILE_DESCRIPTOR_RESPONSE) {
List<ByteString> fileDescriptorProtoList = response.getFileDescriptorResponse().getFileDescriptorProtoList();
handleResponse(fileDescriptorProtoList, channel, methodSymbol, requestContent);
} else {
log.warn("??a??￥?"??o"?±????:" + response.getMessageResponseCase());
}
} catch (Exception e) {
log.error("?¤?????"??o"?¤±è′￥: {}", e.getMessage(), e);
}
}

@Override
public void onError(Throwable t) {

}

@Override
public void onCompleted() {
log.info("Complete");
}
};
// èˉ·?±?è§??ˉ???¨
StreamObserver<ServerReflectionRequest> requestStreamObserver = reflectionStub.serverReflectionInfo(streamObserver);

// ?????o?1???‘é€?è?·??–?–1?3??–???????è?°èˉ·?±?
ServerReflectionRequest getFileContainingSymbolRequest = ServerReflectionRequest.newBuilder()
.setFileContainingSymbol(methodSymbol)
.build();
requestStreamObserver.onNext(getFileContainingSymbolRequest);
channel.awaitTermination(10, TimeUnit.SECONDS);
}

/**
* ?¤?????"??o"
*/
private static void handleResponse(List<ByteString> fileDescriptorProtoList,
ManagedChannel channel,
String methodFullName,
String requestContent) {
try {
// è§￡????–1?3??’???????????§°
String fullServiceName = extraPrefix(methodFullName);
String methodName = extraSuffix(methodFullName);
String packageName = extraPrefix(fullServiceName);
String serviceName = extraSuffix(fullServiceName);

// ?1????"??o"è§￡??? FileDescriptor
Descriptors.FileDescriptor fileDescriptor = getFileDescriptor(fileDescriptorProtoList, packageName, serviceName);

// ??￥?‰??????????è?°
Descriptors.ServiceDescriptor serviceDescriptor = fileDescriptor.getFile().findServiceByName(serviceName);
// ??￥?‰??–1?3????è?°
Descriptors.MethodDescriptor methodDescriptor = serviceDescriptor.findMethodByName(methodName);

// ??‘èμ·èˉ·?±?
executeCall(channel, fileDescriptor, methodDescriptor, requestContent);
} catch (Exception e) {
log.error(e.getMessage(), e);
}
}

/**
* è§￡????1???￥?‰??–1?3??ˉ1?o"????–???????è?°
*/
private static Descriptors.FileDescriptor getFileDescriptor(List<ByteString> fileDescriptorProtoList,
String packageName,
String serviceName) throws Exception {

Map<String, DescriptorProtos.FileDescriptorProto> fileDescriptorProtoMap =
fileDescriptorProtoList.stream()
.map(bs -> {
try {
return DescriptorProtos.FileDescriptorProto.parseFrom(bs);
} catch (InvalidProtocolBufferException e) {
e.printStackTrace();
}
return null;
})
.filter(Objects::nonNull)
.collect(Collectors.toMap(DescriptorProtos.FileDescriptorProto::getName, f -> f));

if (fileDescriptorProtoMap.isEmpty()) {
log.error("??????????-???¨");
throw new IllegalArgumentException("?–1?3?????–???????è?°????-???¨");
}

// ??￥?‰????????ˉ1?o"??? Proto ???è?°
DescriptorProtos.FileDescriptorProto fileDescriptorProto = findServiceFileDescriptorProto(packageName, serviceName, fileDescriptorProtoMap);

// è?·??–è????a Proto ??????èμ–
Descriptors.FileDescriptor[] dependencies = getDependencies(fileDescriptorProto, fileDescriptorProtoMap);

// ?"???? Proto ??? FileDescriptor
return Descriptors.FileDescriptor.buildFrom(fileDescriptorProto, dependencies);
}

/**
* ?1?????…????’????????????￥?‰?????o"????–???????è?°
*/
private static DescriptorProtos.FileDescriptorProto findServiceFileDescriptorProto(String packageName,
String serviceName,
Map<String, DescriptorProtos.FileDescriptorProto> fileDescriptorProtoMap) {
for (DescriptorProtos.FileDescriptorProto proto : fileDescriptorProtoMap.values()) {
if (proto.getPackage().equals(packageName)) {
boolean exist = proto.getServiceList()
.stream()
.anyMatch(s -> serviceName.equals(s.getName()));
if (exist) {
return proto;
}
}
}

throw new IllegalArgumentException("??????????-???¨");
}

/**
* è?·??–?‰???€
*/
private static String extraPrefix(String content) {
int index = content.lastIndexOf(".");
return content.substring(0, index);
}

/**
* è?·??–?????€
*/
private static String extraSuffix(String content) {
int index = content.lastIndexOf(".");
return content.substring(index + 1);
}

/**
* è?·??–???èμ–?±????
*/
private static Descriptors.FileDescriptor[] getDependencies(DescriptorProtos.FileDescriptorProto proto,
Map<String, DescriptorProtos.FileDescriptorProto> finalDescriptorProtoMap) {
return proto.getDependencyList()
.stream()
.map(finalDescriptorProtoMap::get)
.map(f -> toFileDescriptor(f, getDependencies(f, finalDescriptorProtoMap)))
.toArray(Descriptors.FileDescriptor[]::new);
}

/**
* ?°? FileDescriptorProto è????o FileDescriptor
*/
@SneakyThrows
private static Descriptors.FileDescriptor toFileDescriptor(DescriptorProtos.FileDescriptorProto fileDescriptorProto,
Descriptors.FileDescriptor[] dependencies) {
return Descriptors.FileDescriptor.buildFrom(fileDescriptorProto, dependencies);
}

/**
* ?‰§è???–1?3?è°??"¨
*/
private static void executeCall(ManagedChannel channel,
Descriptors.FileDescriptor fileDescriptor,
Descriptors.MethodDescriptor originMethodDescriptor,
String requestContent) throws Exception {

// é???–°?"???? MethodDescriptor
MethodDescriptor<DynamicMessage, DynamicMessage> methodDescriptor = generateMethodDescriptor(originMethodDescriptor);

CallOptions callOptions = CallOptions.DEFAULT;

TypeRegistry registry = TypeRegistry.newBuilder()
.add(fileDescriptor.getMessageTypes())
.build();

// ?°?èˉ·?±???…??1?"± JSON ?-—??|??2è????o????o"????±????
JsonFormat.Parser parser = JsonFormat.parser().usingTypeRegistry(registry);
DynamicMessage.Builder messageBuilder = DynamicMessage.newBuilder(originMethodDescriptor.getInputType());
parser.merge(requestContent, messageBuilder);
DynamicMessage requestMessage = messageBuilder.build();

// è°??"¨???è°??"¨?–1?????ˉ??￥é€?è?? originMethodDescriptor.isClientStreaming() ?’? originMethodDescriptor.isServerStreaming() ??¨?–-
DynamicMessage response = ClientCalls.blockingUnaryCall(channel, methodDescriptor, callOptions, requestMessage);

// ?°??"??o"è§￡?????o JSON ?-—??|??2
JsonFormat.Printer printer = JsonFormat.printer()
.usingTypeRegistry(registry)
.includingDefaultValueFields();
String responseContent = printer.print(response);

log.info("?"??o": {}", responseContent);
}

/**
* é???–°?"?????–1?3????è?°
*/
private static MethodDescriptor<DynamicMessage, DynamicMessage> generateMethodDescriptor(Descriptors.MethodDescriptor originMethodDescriptor) {
// ?"?????–1?3??…¨???
String fullMethodName = MethodDescriptor.generateFullMethodName(originMethodDescriptor.getService().getFullName(), originMethodDescriptor.getName());
// èˉ·?±??’??"??o"?±????
MethodDescriptor.Marshaller<DynamicMessage> inputTypeMarshaller = ProtoUtils.marshaller(DynamicMessage.newBuilder(originMethodDescriptor.getInputType())
.buildPartial());
MethodDescriptor.Marshaller<DynamicMessage> outputTypeMarshaller = ProtoUtils.marshaller(DynamicMessage.newBuilder(originMethodDescriptor.getOutputType())
.buildPartial());

// ?"?????–1?3????è?°, originMethodDescriptor ??? fullMethodName ????-￡???
return MethodDescriptor.<DynamicMessage, DynamicMessage>newBuilder()
.setFullMethodName(fullMethodName)
.setRequestMarshaller(inputTypeMarshaller)
.setResponseMarshaller(outputTypeMarshaller)
// ????"¨ UNKNOWN???è?a??¨????"1
.setType(MethodDescriptor.MethodType.UNKNOWN)
.build();
}
}

在技术上没有太多可以防止这种情况发生。两大障碍是：

具有用于读取 .proto 的运行时可调用解析器，以及

有一个通用的 gRPC 客户端可用，它将服务方法名称等内容作为文字

两者都有可能，但都不是微不足道的。

对于1，粗略的方法是使用descriptor-set选项来shell/invoke protoc以生成模式二进制文件，然后将其反序列化为FileDescriptorSet(来自descriptor.proto)；此模型使您可以访问 protoc 如何查看文件。一些平台也有本机解析器(本质上是重新实现 protoc 作为该平台中的库)，例如 protobuf-net.Reflection 在 .NET-land

中执行此操作

对于 2，这是 C# 中的一个实现。即使细节有所不同，该方法也应该相当可移植到 Java。您可以查看生成的实现以了解它在任何特定语言中的工作方式。

(抱歉，具体示例是 C#/.NET，但那是我住的地方；方法应该是可移植的，即使具体代码：不是直接的)

技术上两者都是可能的。

代码生成器只是生成少数类；主要是 protobuf 消息、grpc 方法描述符和Stubbing。您可以实现它或签入生成的代码以绕过 codegen。我不确定这样做有什么好处。另外，如果更改了 proto 会很烦人。

只要您签入一些接口/抽象类来表示那些生成的Stubbing/方法描述符和protobuf消息，也可以使用字节码生成动态地执行此操作。您必须确保那些非动态代码与原型定义同步(很可能是运行时检查/异常)。

译成 protocol span nbsp class grpc grpc-java java proto protocol-buffers

有关关于protocol buffers：如何直接从protobuf创建GRPC客户端而不用编译成java代码的更多相关文章

ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
ruby - 如何从 ruby 中的字符串运行任意对象方法？ - 2
总的来说，我对ruby还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？最佳答案在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
ruby - 如何指定 Rack 处理程序 - 2
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
ruby-on-rails - Rails 源代码 : initialize hash in a weird way? - 2
在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has
ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2
在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。最佳答案这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

关于protocol buffers：如何直接从protobuf创建GRPC客户端而不用编译成java代码

How to create GRPC client directly from protobuf without compiling it into java code

有关关于protocol buffers：如何直接从protobuf创建GRPC客户端而不用编译成java代码的更多相关文章

随机推荐