Designer Watches: FlatBuffers 使用小结

2021-01-14

FlatBuffers 使用小结

　　最近做一个Android APP，由于离线业务需求，需要在启动APP时候同步大量数据到APP上，遇到了JSON性能瓶颈。从下方的图片中可以看出，当使用 json 传输数据，在解析json的时候会产生大量的对象，使得内存疯狂飙升，不论是配置低端的平板还是配置比较高端的手机都会 GC 。而在使用 flatbuffers 的时候不论是平板还是手机，都没有 GC，并且在时间是数量级的差别。0.5s与0.05s的差距对你而言或许并不大，但是1s和10s的差距就很明显了噻，应该没人能忍受一个app的反应时间需要10s之久吧...

　　下面是我测试的参数与测试结果，对比提升可以说是相当的明显了。注(这里的解析时间是指：从发起请求到响应后把数据解析成对象的时间，也就是说除去相差不多的网络传输时间，单纯的对数据的解析时间 faltbuffers 提升会更加明显 )

什么是 FlatBuffers ？

　　FlatBuffers是一个高效的跨平台序列化库，适用于C++, C#, C, Go, Java, Kotlin, JavaScript, Lobster, Lua, TypeScript, PHP, Python, Rust 和Swift。它们最早由谷歌创立，用来开发游戏和其他一些需要高性能的程序。

为什么使用 FlatBuffers 会这么快？

　　无需解析/拆包即可访问序列化数据-FlatBuffers的与众不同之处在于，它在平坦的二进制缓冲区中表示层次结构数据，使得无需解析/拆包就可以直接访问它，同时还支持数据结构的演进（forward /向后兼容）

如何使用 FlatBuffers ？

1.编译器下载地址：https://github.com/google/flatbuffers/releases

2.编写Schema文件 demo.fbs

namespace com.zxz.demo.flatbuffer;table User {id : long;name : string;gender : string;departmentId : long;createTime : string;enabled : bool;status : string;}table Account {id : long;userId : long;login : string;password : string;loginCount : int;}table Data {userList : [User];accountList : [Account];}root_type Data;

3.生成javaBean文件：flatc.exe --java demo.fbs

4.下载 FlatBuffers 源码: https://github.com/google/flatbuffers/tree/master/java，或者看看maven仓库有没有依赖包引入项目

5.服务端创建数据

public void service() throws Exception { HttpServletResponse response = ActionContext.get().getResponse(); // 1.创建builder FlatBufferBuilder builder = new FlatBufferBuilder(1024); List<Integer> list1 = new ArrayList<Integer>(); for (int i = 0; i < 10; i++) {  long id = 0L;  int nameOffset = builder.createString("name");  int genderOffset = builder.createString("gender");  long departmentId = 0L;  int createTimeOffset = builder.createString("2021-01-10");  boolean enabled = true;  int statusOffset = builder.createString("status");  // 2.创建User对象返回 offset值  int createUser = User.createUser(builder, id, nameOffset, genderOffset, departmentId,    createTimeOffset, enabled, statusOffset);  list1.add(createUser); } // 3.把存储对象offset值的集合转成数组 int[] arr1 = list1.stream().mapToInt(Integer::valueOf).toArray(); // 4.构建User的数据 int createUsersVector = Data.createUsersVector(builder, arr1); // 5.构建Data对象(Data中包含[User]) Data.startData(builder); // 6.添加User的集合 Data.addUsers(builder, createUsersVector); int offset = Data.endData(builder); Data.finishDataBuffer(builder, offset); // 7.把DataBuffer写入到IO中 ServletOutputStream os = response.getOutputStream(); os.write(builder.dataBuffer().array(), builder.dataBuffer().position(), builder.offset()); os.close();}

6.客户端接收数据

public void onResponse(Call call, Response response) throws IOException {
　　 byte[] bytes = response.body().bytes(); ByteBuffer bb = ByteBuffer.wrap(bytes); Data data = Data.getRootAsData(bb);}

==================================END==================================

==============================测试结果截图===============================

图一、平板上使用 json 传输数据

图二、手机上使用 json 传输数据

图三、平板上使用 flatbuffers 传输数据

图四、手机上使用 flatbuffers 传输数据

原文转载：http://www.shaoqun.com/a/508856.html

跨境电商：https://www.ikjzd.com/

zen-cart：https://www.ikjzd.com/w/1282

抢注商标：https://www.ikjzd.com/w/1053

最近做一个AndroidAPP，由于离线业务需求，需要在启动APP时候同步大量数据到APP上，遇到了JSON性能瓶颈。从下方的图片中可以看出，当使用json传输数据，在解析json的时候会产生大量的对象，使得内存疯狂飙升，不论是配置低端的平板还是配置比较高端的手机都会GC。而在使用flatbuffers的时候不论是平板还是手机，都没有GC，并且在时间是数量级的差别。0.5s与0.05s的差距对你而
net-a-porter：net-a-porter
vat：vat
清远飞霞碧溪漂流怎么样？好不好？：清远飞霞碧溪漂流怎么样？好不好？
2018年下半年shopee的各大促销日你准备好了吗？：2018年下半年shopee的各大促销日你准备好了吗？
肇庆有什么值得去看的旅游景点？：肇庆有什么值得去看的旅游景点？

Designer Watches