【Java综合专栏】「渐入佳境」全链路追踪原理之Java Agent探针的底层运作原理和分析(中篇)
创始人
2024-03-04 09:36:28
0

JavaAgent

启动时加载的 JavaAgent 是 JDK1.5 之后引入的新特性,此特性为用户提供了在 JVM 将字节码文件读入内存之后,JVM 使用对应的字节流在 Java 堆中生成一个 Class 对象之前,用户可以对其字节码进行修改的能力,从而JVM也将会使用用户修改过之后的字节码进行 Class 对象的创建。

JVM Tool Interface

  • JVMTI 是 JVM 暴露出来的一些供用户进行自定义扩展的接口集合,每当 jvm 执行到一些特定的逻辑的时间,就会去进行触发这些回调接口,用户就恰好可以在此回调接口之中做一些自定义逻辑。

  • 而对于此次所要描述的 JavaAgent 也恰恰是基于 JVMTI 的,JPLISAgent 就是用作实现 javaagent 功能的动态库。

JPLISAgent

JPLISAgent 实现了 Agent_OnLoad 方法,Agent_OnLoad 方法就是整个启动时加载的 JavaAgent 的入口方法,后续也会说明整个运行流程。

如何使用

虽然大多数同学可能已经使用过 JavaAgent 了,但是为了下面原理的平滑过渡,我这里还是大概写一下使用:

编写 premain 启动类

编写一个含有以下 premain 函数的类

public static void premain(String agentArgs, Instrumentation instrumentation);[1]
public static void premain(String agentArgs);[2]
  • 上面的两个方法只需要实现一个即可,且 [1] 的优先级是高于 [2] 的,即如果上面的两个方法同时出现,则只会执行 [1] 方法。

  • agentArgs是javaagent:xx.jar=yyy传入yyy字符串是java.lang.instrument.Instrumentation 实例,由本地方法实例化并由 jvm自动传入。

此类是 JavaAgent 的核心类。

public class Agent { public static void premain(String args, Instrumentation inst){ System.out.println("Hi, This is a agent!"); inst.addTransformer(new TestTransformer());// 将类转换器添加到此`agent`的`instrumentation`实例之中}
}

类转换器

类转换器的作用主要是在某个类的字节码被 JVM 读入之后,在 Java 堆上创建 Class 对象之前,JVM 会遍历所有的 instrumentation 实例并执行其中的所有的ClassFileTransformer 的 transform 方法,其中关于启动时加载的 javaAgent 重点需要关注的入参

  • className:当前类的限定类名。
  • classfileBuffer:当前类的以 byte 数组呈现的字节码数据(可能跟 class 文件的数据不一致, 因为此处的 byte 数据是此类最新的字节码数据,即此数据可能是原始字节码数据被其他增强方法增强之后的自己买数据)
public class TestTransformer implements ClassFileTransformer { @Override public byte[] transform(ClassLoader classLoader, String className, Class classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) { // 进行对应类字节码的操作,并返回新字节码数据的 byte 数组,如果返回 null,则代码不对此字节码作任何操作return null;} 
}

然后将上述的代码打成 jar 包并在 jvm 启动时增加 -javaagent:xx.jar 即可以完成 javaAgent 的生效。

实现原理

上面关于 JavaAgent 的使用有涉及到这么几个关键字:

premain,Instrumentation,ClassFileTransformer,MAINIFEST.MF 中的 Premain-Class
  • 对于在启动命令添加的 -javaagent:xx.jar,如果有多个加载顺序就是从前往后,且每一个 -javaagent 都是独立的。

  • 以下的加载流程仅仅只是针对其中的一个javaagent描述的。

  • javaAgent 的入口方法就是 InvocationAdapter.c 中的 Agent_OnLoad 方法。经过查看 openjdk 源码,发现如下注释

  • 由注释我们可以指定,每一个 -javaagent 都会有其自己的 agent 和 agent 数据,且每一个 javaagent 都会调用一次 Agent_OnLoad 方法就会被调用一次,且每一次的调用都是独立的。

在 Agent_OnLoad 方法中主要做的事情有下面三个:

  • 1)初始化一个 JPLISAgent 对象,并给此对象设置 VMInit 事件的回调函数 eventHandlerVMInit.

  • 2)找到 jvm 启动参数中 -javaagent:xx.jar=yyy 中的 xx.jar 文件添加到 classpath 之中,并获取 yyy

  • 3)找到 xx.jar 包中的 MAINIFEST.MF 中定义的 premainClass 并作为此 Agent 的入口类

  • 4)并将 premainClass 和 yyy 设置到步骤 1 初始化的 JPLISAgent 对象之中。

当 VMInit 事件完成以后,会回调 InvocationAdapter.c中的 eventHandlerVMInit 方法,eventHandlerVMInit 方法主要做的事情有下面:

  • 1)实例化一个 InstrumentationImpl 对象,jvm 并依借此对象与 java 代码进行交互。

  • 2)通过 JNI 执行 MAINIFEST.MF 中定义的类中的 premain 方法(我们上面的例子之中在 premain 方法中给 Instrumentation 对象添加了一个 ClassFileTransformer)

  • 3)去除 JPLISAgent 对象中的 VMInit 回调函数,转而设置一个 ClassFileLoadHook 事件的回调函数。


  • 当 ClassFileLoadHook 事件 (在字节码文件被 jvm 读入之后,在 Class 对象创建之前) 完成后,进行触发 eventHandlerClassFileLoadHook,此方法主要做的事情有下面几件:

  • 进行调用 InstrumentationImpl 对象中的 mTransform 方法,而对于 mTransform 方法,最终会调用到我们在 Agent 的 premain 方法中给 Instrumentation 增加的 ClassFileTransformer。

  • 此时,JVM 会通过 JNI 调用 java 代码,对应的类就是 sun.instrument.InstrumentationImpl 类之中,而对应于 mTransform 的方法就是 byte[] transform(ClassLoader var1, String var2, Class var3, ProtectionDomain var4, byte[] var5, boolean var6)

  • 方法是上述中 c 代码调用的地方,其中的 var5 是对应当前文件的字节码数据, 如果此接口返回的数据为 null,则认为 transform 方法并未对此 class 文件有过修改,如果返回的数据不为 null,则会使用返回的新字节码作为 jvm 中此类最新的字节码并进行下一个

Javaagent 的处理或者创建 Class 对象进行链接以及初始化。

其中对于 c 代码通过 JNI 反射调用 java 代码的方法声明都在 JPLISAgent.h 类中可以看见

struct _JPLISAgent;
typedef struct _JPLISAgent JPLISAgent;typedef struct _JPLISEnvironment JPLISEnvironment;7/* constants for class names and methods names and such
8 these all must stay in sync with Java code & interfaces
9*/
10#define JPLIS_INSTRUMENTIMPL_CLASSNAME "sun/instrument/InstrumentationImpl"
11#define JPLIS_INSTRUMENTIMPL_CONSTRUCTOR_METHODNAME ""
12#define JPLIS_INSTRUMENTIMPL_CONSTRUCTOR_METHODSIGNATURE "(JZZ)V"
13#define JPLIS_INSTRUMENTIMPL_PREMAININVOKER_METHODNAME "loadClassAndCallPremain"
14#define JPLIS_INSTRUMENTIMPL_PREMAININVOKER_METHODSIGNATURE "(Ljava/lang/String;Ljava/lang/String;)V"
15#define JPLIS_INSTRUMENTIMPL_AGENTMAININVOKER_METHODNAME "loadClassAndCallAgentmain"
16#define JPLIS_INSTRUMENTIMPL_AGENTMAININVOKER_METHODSIGNATURE "(Ljava/lang/String;Ljava/lang/String;)V"
17#define JPLIS_INSTRUMENTIMPL_TRANSFORM_METHODNAME "transform"
18#define JPLIS_INSTRUMENTIMPL_TRANSFORM_METHODSIGNATURE \
19 "(Ljava/lang/ClassLoader;Ljava/lang/String;Ljava/lang/Class;Ljava/security/ProtectionDomain;[BZ)[B"

对于启动时加载的 JavaAgent 涉及到的 c 代码主要为:

其中涉及到的 c 代码在 /src/share/instrument 目录下的 JPLISAgent.c,JPLISAgent.h,InvocationAdapter.c。

涉及到的 java 代码为 sun.instrument.InstrumentationImpl。

字节码工具

上面我们说过,javaAgent 提供了一些接口可以让我们在某些特定的时机进行对于 java 字节码的操作,在不改变代码的前提下,修改最终载入内存的字节码。但是由于直接操作字节码需要对 java 的字节码底层有较深入的研究。所以一些能帮助我们

不需要了解字节码底层也能修改字节码的工具就诞生了。其中较为流行的字节码操作工具有 byteBuddy 和 javassist 等等。

Javassist 冲突

使用了两种 JavaAgent(一种 JavaAgent 是基于 ByteBuddy,另外一种 JavaAgent 是基于 Javassist)同时去增强同一个类的同一个方法:

当两个 JavaAgent 的载入顺序为:Javassist-ByteBuddy,这两个 JavaAgent 对于同一个类的同一个方法的增强都生效了

当两个 JavaAgent 的载入顺序为:ByteBuddy-Javassist,Javassist 对应的增强生效了,而 ByteBuddy 对应的增强却没生效

当使用三个 JavaAgent(两个 Javassist,一个 ByteBuddy)的载入顺序为:Javassist-ByteBuddy-Javassist,两个 Javassist 的增强都生效了,而 ByteBuddy 对应的增强却没生效

冲突根因

针对上面结果的不同,我们来开始分析不同的 JavaAgent 的实现在不同加载顺序下为什么会造成如此大的差异呢?

使用 Javassist 创建 JavaAgent

ClassPool classPool = ClassPool.getDefault();
CtClass ctClass = classPool.getCtClass(className);
CtMethod[] ctMethods = ctClass.getDeclaredMethods();
for (int i = 0; i < ctMethods.length; i++) {CtMethod ctMethod = ctMethods[i];if (!ctMethod.getName().equalsIgnoreCase("main")) {continue}ctMethod.insertBefore("System.out.println(\" 这是第 2 个 javassist Agent Before~~~~~\");");ctMethod.insertAfter("System.out.println(\" 这是第 2 个 javassist Agent After~~~~~\");");
}
return ctClass.toBytecode();

其中对于 Javassist 是使用 ClassPool 对象来存储对应的 class 对象,对于默认的 defaultPool 是 static 属性,故如果有多个基于 Javassist 实现的 JavaAgent,那么它们使用的 ClassPool 是同一个对象。

当使用 classPool.getCtClass(className) 方法获取一个 CtClass 对象,其中 Javassist 都做了哪些事情呢?

让我们进去看看

 protected synchronized CtClass get0(String classname, boolean useCache) throws NotFoundException {CtClass clazz = null;if (useCache) {clazz = this.getCached(classname);if (clazz != null) {return clazz;}}if (!this.childFirstLookup && this.parent != null) {clazz = this.parent.get0(classname, useCache);if (clazz != null) {return clazz;}}clazz = this.createCtClass(classname, useCache);if (clazz != null) {if (useCache) {this.cacheCtClass(clazz.getName(), clazz, false);}return clazz;}else {if (this.childFirstLookup && this.parent != null) {clazz = this.parent.get0(classname, useCache);}return clazz;}}

由上面源码可以当 ClassPool 的 Cache 中不存在对应的 class 的时候,javassist 会调用 this.createCtClass(classname, useCache) 来实例化一个 CtClass 对象,那它是如何创建的呢?

 protected CtClass createCtClass(String classname, boolean useCache) {if (classname.charAt(0) == '[') {classname = Descriptor.toClassName(classname);}if (!classname.endsWith("[]")) {return this.find(classname) == null ? null : new CtClassType(classname, this);} else {String base = classname.substring(0, classname.indexOf(91));return (!useCache || this.getCached(base) == null) && this.find(base) == null ? null : new CtArray(classname, this);}}

可以看出,对于此次,javassist 仅仅只是使用 className 用实例化了个 CtClassType 对象。

当获取了 CtClass 对象之后,我们想知道其中都有哪些方法,接下来使用 ctClass.getDeclaredMethods() 来获取其中的方法,我们看看他是如何获取的呢?

getDeclaredMethods()–>getMembers()–>makeBehaviorCache(cache)–>getClassFile2()–>openClassfile(classname)public InputStream openClassfile(String classname) {try {char sep = File.separatorChar;String filename = this.directory + sep + classname.replace('.', sep) + ".class";return new FileInputStream(filename.toString());} catch (FileNotFoundException var4) {;} catch (SecurityException var5) {;}return null;}

可以看出 javassist 获取到对应类的 class 文件,并以文件流的形式读入以获取到其 class 中所有的方法和属性并缓存在 CtClassType 对象之中(由此,我们可以明确一个问题,第一个 javassist 对于字节码的修改都是基于对应类的源字节码文件)

当 javasist 使用了 ctMethod.insertBefore 方法对某方法进行增强的之后,会刷新其对应 ClassPool 之中缓存的 CtClassType 的属性。

当第二个基于 Javassist 实现的 JavaAgent 对相同的类进行增强的时候,其也会去 ClassPool 中获取 CtClass 对象,而这个 CtClass 恰恰就是上一个 JavaAgent 对原始字节码增强之后刷新的结果,这样可以说明第二个 JavaAgent 在增强的时候使用的字节码的源文件跟第一个 JavaAgent 使用的字节码的源文件的获取方式不同。

冲突结论

根据上述现象与原理的分析,我们可以得出:

如果同时使用基于 Javassist 和基于其他字节码工具的 JavaAgent 去增强同一个类,Javassist 的加载顺序一定要在其他字节码的 JavaAgent 之前,这样才能保证两个字节码工具都可以进行完整的增强。如果基于 Javassist 的 JavaAgent 最后增强,那么之前的非Javassist 的 JavaAgent 对于字节码的增强都会被丢弃掉,这也能会带来不小的麻烦。

相关内容

热门资讯

你的晚安是我的早安是什么歌曲 你的晚安是我的早安是什么歌曲苏天伦《你的早安是我的晚安》“你的晚安是我的早安”是单小源的歌曲《东京遇...
积极进取的小故事 积极进取的小故事现代的普通人,不要名人的。不能与别人重复,尽快回答   啄木鸟的故事       啄...
熊出没之探险日记3什么时候播出... 熊出没之探险日记3什么时候播出?熊出没之探险日记3,春节前播放。熊出没只是探险日记三2020年5月4...
谁知道所有有关“七”的歌?拜托... 谁知道所有有关“七”的歌?拜托了各位 谢谢就是歌曲名里有“七”这个字的!谢谢七月七迅谈日晴 看我七十...
求一本小说 女主穿越了三次 每... 求一本小说 女主穿越了三次 每次都在福临身边 后来怀孕了孩子被打掉了那个 女主叫什么雯?那个女主就是...
如果记忆不说话,流年也会开出花... 如果记忆不说话,流年也会开出花的基本信息书 名:《如果记忆不弯饥好说话,流年也会开出花》埋铅 作 者...
你好,旧时光漫画版在哪里可以看... 你好,旧时光漫画版在哪里可以看?暂时在绘心上连载
一首英文歌,男的组合唱的,MV... 一首英文歌,男的组合唱的,MV是一个婚礼的过程。求歌名。是不是darin的can'tstoplove...
为什么很多人喜欢用胶片相机? 为什么很多人喜欢用胶片相机?有一种情怀叫做“怀旧“吧,现在数码相机越来越普遍了,已经到了”全民摄影“...
女主先爱上男主,男主却不喜欢女... 女主先爱上男主,男主却不喜欢女主或者是另有所爱,最后女主男主还是在一起的穿越小说。有木有再生缘:我的...
爱情失恋伤感句子 爱情失恋伤感句子越是美好的从前,越幸福的曾经,现在只能带来锥心的疼痛,痛到撕心裂肺,肝肠寸断,终于痛...
24岁穿这个会不会显老 24岁穿这个会不会显老有点显老,这个颜色款式,颜色有点暗,没有活力,属于那种气质佳,长得高雅的女人,...
哈尔的移动城堡英语版 哈尔的移动城堡英语版可以发给我吗度盘~请查收~
秦时明月之万里长城什么时候播 秦时明月之万里长城什么时候播据说是今年暑假开播别急,官网什么的信他你就输了,12年之前底应该会出,杭...
孩子会得抽动症吗? 孩子会得抽动症吗?我天生的气性比较大,有时跟别人斗嘴时候就会手脚哆嗦,麻木,我问一下这是不是抽动症就...
亨德尔一生为音乐献出了怎样的贡... 亨德尔一生为音乐献出了怎样的贡献?亨德尔一生写了歌剧41部,清唱剧21部,以及大量的管乐器与弦乐器的...
礼仪起源和发展的经典故事? 礼仪起源和发展的经典故事?一、礼仪的起源;1、天神生礼仪;2、礼为天地人的统一体;3、礼产生于人的自...
描写桂林山水的句子有哪些? 描写桂林山水的句子有哪些?天下风光数桂林有杨万里的“梅花五岭八桂林,青罗带绕碧玉簪”;有邹应龙的“无...
避免与强敌正面对决的成语 避免与强敌正面对决的成语避免与强敌正面对决的成语避实就虚 【近义】避重就轻、避难就易、声东击西【反义...
多愁善感类的成语 多愁善感类的成语心细如发【解释】:极言小心谨慎,考虑周密。亦作“心细于发”。【出自】:吴梅《题天香石...