用一个例子告诉你 怎样在spark中创建广播变量
创始人
2024-06-03 01:21:55
0

目录

1.什么是广播变量(Broadcast Variables)

2.使用广播变量 

3.重点关注


1.什么是广播变量(Broadcast Variables)

广播变量是Spark提供的一个共享变量(Shared Variables),允许同一个Executor中的多个Task读取同一份数据
    默认情况下,如果Executor节点上使用到了Driver端定义的变量(通过算子传递)
    算子会将该变量的副本发送的每个Task任务,反序列化后存储在Task节点内存中
    但是Spark为我们提供了一个共享变量,允许Driver端和Task之间共享一个变量
    降低通信成本和内存成本


2.使用广播变量 

  test("对吧 广播变量和join算子") {// 初始化 spark配置实例val sparkconf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("")// 初始化 spark环境对象val sc: SparkContext = new SparkContext(sparkconf)var list: List[(Int, Int)] = List((1, 21), (2, 23), (3, 30), (4, 35))val rdd: RDD[(Int, String)] = sc.parallelize(List((1, "张飞"), (2, "赵云"), (3, "关羽"), (4, "奉先"), (5, "子路")))/** 使用spark的join算子** */val joinResult = rdd.join(sc.parallelize(list))joinResult.foreach(println(_))println("------------------------------------")/** 使用广播变量* */// TODO 1. 在Driver端声明广播变量val bc: Broadcast[Map[Int, Int]] = sc.broadcast(list.toMap)val bcResult: RDD[(Int, (String, Any))] = rdd.map(e => {// TODO 2. 在Task中读取广播变量val map: Map[Int, Int] = bc.value(e._1, (e._2, bc.value.getOrElse(e._1, null)))}).filter(_._2._2 != null)bcResult.foreach(println(_))while (true) {}sc.stop()}


3.重点关注 

1.广播变量是怎样 提升计算效率?
      减少了数据分发的次数,降低通信成本
      避免了Task节点反序列化变量副本,降低了内存成本
2.使用场景
     关联静态维表
     过滤黑名单、白名单
     join

传送门1: 传送门

传送门2:  传送门2

相关内容

热门资讯

中证A500ETF摩根(560... 8月22日,截止午间收盘,中证A500ETF摩根(560530)涨1.19%,报1.106元,成交额...
A500ETF易方达(1593... 8月22日,截止午间收盘,A500ETF易方达(159361)涨1.28%,报1.104元,成交额1...
何小鹏斥资约2.5亿港元增持小... 每经记者|孙磊    每经编辑|裴健如 8月21日晚间,小鹏汽车发布公告称,公司联...
中证500ETF基金(1593... 8月22日,截止午间收盘,中证500ETF基金(159337)涨0.94%,报1.509元,成交额2...
中证A500ETF华安(159... 8月22日,截止午间收盘,中证A500ETF华安(159359)涨1.15%,报1.139元,成交额...
科创AIETF(588790)... 8月22日,截止午间收盘,科创AIETF(588790)涨4.83%,报0.760元,成交额6.98...
创业板50ETF嘉实(1593... 8月22日,截止午间收盘,创业板50ETF嘉实(159373)涨2.61%,报1.296元,成交额1...
港股异动丨航空股大幅走低 中国... 港股航空股大幅下跌,其中,中国国航跌近7%表现最弱,中国东方航空跌近5%,中国南方航空跌超3%,美兰...
电网设备ETF(159326)... 8月22日,截止午间收盘,电网设备ETF(159326)跌0.25%,报1.198元,成交额409....
红利ETF国企(530880)... 8月22日,截止午间收盘,红利ETF国企(530880)跌0.67%,报1.034元,成交额29.0...