最近遇到一个问题,应用层提供的SQL语句中有CAST(local_time AS DATE)
这样的语句,在MySQL中执行肯定是没问题的,但是后台数据库切换到了HBase,使用apache phoenix 提供的JDBC驱动访问时却报错了,按照phoenix官方的文档,CAST函数是支持,但现实就是报错过不了,应该是我使用的phoenix版本问题,应该是个BUG,暂时无法通过升级版本解决。
解决方案也不复杂就是用phoenix的Native函数TO_DATE,TO_CHAR
函数来代替,将CAST(local_time AS DATE)
替换为TO_DATE(TO_CHAR("local_time"), 'yyyy-MM-dd')
。
那么问题来了,如果让应用层来替换这事很方便,但是我们希望数据存储对应用层是透明的,应用层不需要知道存储是MySQL还是HBase,如果让应用层修改,那应用层就需要知道数据库的类型是MySQL还是HBase,根据不同的数据库使用不同的SQL语句,这太麻烦了----这是下下策。
有没有可能在服务端自动替换呢?有了jsqlparser这个神器,这个想法就可以实现。
jsqlparser是一个java的SQL语句解析器,在我之前的博客:《jsqlparser:基于抽象语法树(AST)遍历SQL语句的语法元素》以及《jsqlparser:实现基于SQL语法分析的SQL注入攻击检查》介绍了如何通过jsqlparser来遍历SQL语句中所有的语法单元实现自己的需求。
那么基于jsqlparser解析出的对象,修改部分语法也是可以实现的。所以一个基本的解决思路就有了:
遍历jsqlparser解析的语法树对象,找到所有CAST函数(Function对象),将其替换为需要的函数。
以下是实现代码:
import net.sf.jsqlparser.expression.CastExpression;
import net.sf.jsqlparser.expression.Expression;
import net.sf.jsqlparser.expression.Function;
import net.sf.jsqlparser.expression.StringValue;
import net.sf.jsqlparser.expression.operators.relational.ExpressionList;
import net.sf.jsqlparser.statement.select.SelectExpressionItem;
import net.sf.jsqlparser.util.TablesNamesFinder;import java.util.function.Consumer;
/*** 基于SQL语法对象实现对SQL的修改
* 对PHOENIX支持有问题的CAST日期函数转换为使用PHOENIX的Native函数TO_DATE,TO_TIME,TO_TIMESTAMP* @author guyadong**/
public class PhoenixNormalizer extends TablesNamesFinder{public PhoenixNormalizer() {}/*** 根据输入参数创建TO_DATE,TO_TIME,TO_TIMESTAMP函数* @param castLeftExpression CAST的值参数* @param format 时间格式参数* @param targetFunctionName 要创建的Function对象的函数名*/private Expression castToFunction(Expression castLeftExpression,String format,String targetFunctionName){Function toChar = new Function().withName("TO_CHAR").withParameters(new ExpressionList().addExpressions(castLeftExpression));Function targetFunction = new Function().withName(targetFunctionName).withParameters(new ExpressionList().addExpressions(toChar,new StringValue(format)));return targetFunction;}/*** 从 Cast 函数中获取对应的参数,将其转为对应的TO_DATE,TO_TIME,TO_TIMESTAMP函数*/private void onCastExpression(CastExpression castExpression,Consumerconsumer){Expression newExp = null;switch (castExpression.getType().toString().toLowerCase()) {case "date":{newExp = castToFunction(castExpression.getLeftExpression(),"yyyy-MM-dd","TO_DATE");break;}case "time":{newExp = castToFunction(castExpression.getLeftExpression(),"yyyy-MM-dd HH:mm:ss","TO_TIME");break;}case "timestamp":{newExp = castToFunction(castExpression.getLeftExpression(),"yyyy-MM-dd'T'HH:mm:ss.SSSZ","TO_TIMESTAMP");break;}default:break;}if(null != newExp){consumer.accept(newExp);}}@Overridepublic void visit(SelectExpressionItem item) {/*** 不同于其他函数,jsqlparser对于CAST函数是单独处理的,定义了一个单独的类 CastExpression*/if(item.getExpression() instanceof CastExpression){onCastExpression((CastExpression)item.getExpression(),item::setExpression);}super.visit(item);}
}
调用示例
Statement stmt;String sql = "SELECT count(1) AS count, CAST(\"local_time\" AS date) AS datastr, \"device_id\", \"media_id\" FROM \"dc_play_log_hbase\" WHERE \"local_time\" < TO_TIMESTAMP(\'2022-11-30 23:59:59\') AND \"local_time\" >= TO_TIMESTAMP(\'2022-11-22 00:00:00\') GROUP BY datastr,\"device_id\", \"media_id\""
stmt = CCJSqlParserUtil.parse(sql);
// PhoenixNormalizer遍历所有节点,执行替换
stmt.accept(new PhoenixNormalizer());
// 输出替换后的SQL
System.printf("sql = %s\n",stmt);
输出
sql = SELECT count(1) AS “count”, TO_DATE(TO_CHAR(“local_time”), ‘yyyy-MM-dd’) AS “datastr”, “device_id”, “media_id” FROM “dc_play_log_hbase” WHERE “local_time” < TO_TIMESTAMP(‘2022-11-30 23:59:59’) AND “local_time” >= TO_TIMESTAMP(‘2022-11-22 00:00:00’) GROUP BY “datastr”, “device_id”, “media_id”
完整的代码参见码云仓库:
https://gitee.com/l0km/sql2java/blob/master/sql2java-manager/src/main/java/gu/sql2java/phoenix/PhoenixNormalizer.java
单元测试:
https://gitee.com/l0km/sql2java/blob/master/sql2java-manager/src/test/java/gu/sql2java/pagehelper/parser/JsqlParserTest.java
参考资料:
《apache functions》