目录

1.什么是广播变量(Broadcast Variables)

2.使用广播变量 

3.重点关注

1.什么是广播变量(Broadcast Variables)

广播变量是Spark提供的一个共享变量(Shared Variables)，允许同一个Executor中的多个Task读取同一份数据
    默认情况下，如果Executor节点上使用到了Driver端定义的变量(通过算子传递)
    算子会将该变量的副本发送的每个Task任务，反序列化后存储在Task节点内存中
    但是Spark为我们提供了一个共享变量，允许Driver端和Task之间共享一个变量
    降低通信成本和内存成本

2.使用广播变量 

  test("对吧 广播变量和join算子") {// 初始化 spark配置实例val sparkconf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("")// 初始化 spark环境对象val sc: SparkContext = new SparkContext(sparkconf)var list: List[(Int, Int)] = List((1, 21), (2, 23), (3, 30), (4, 35))val rdd: RDD[(Int, String)] = sc.parallelize(List((1, "张飞"), (2, "赵云"), (3, "关羽"), (4, "奉先"), (5, "子路")))/** 使用spark的join算子** */val joinResult = rdd.join(sc.parallelize(list))joinResult.foreach(println(_))println("------------------------------------")/** 使用广播变量* */// TODO 1. 在Driver端声明广播变量val bc: Broadcast[Map[Int, Int]] = sc.broadcast(list.toMap)val bcResult: RDD[(Int, (String, Any))] = rdd.map(e => {// TODO 2. 在Task中读取广播变量val map: Map[Int, Int] = bc.value(e._1, (e._2, bc.value.getOrElse(e._1, null)))}).filter(_._2._2 != null)bcResult.foreach(println(_))while (true) {}sc.stop()}

3.重点关注 

1.广播变量是怎样 提升计算效率？
      减少了数据分发的次数，降低通信成本
      避免了Task节点反序列化变量副本，降低了内存成本
2.使用场景
     关联静态维表
     过滤黑名单、白名单
     join

传送门1: 传送门

传送门2:  传送门2