Flink

1 Flink任务提交使用的资源？

  一般JobManager给2-5G,TaskManager给4-8G，平均并行度为3-8,普遍为4。

2 Flink实时数仓为何分层建模？

  避免重复计算

3 Flink怎么优化内存？

  0.10版本之后重点

4 Flink任务挂了怎么办？有什么保证机制？重启大概要多久？

  任务重启策略(固定延迟重启、故障率重启)

  CheckPoint机制，从最近一次CK时间恢复任务

  状态大小时间不一样，正常重启都在几秒钟时间

5 checkpoint机制和barrier，对齐和不对齐的区别

  JobManager周期性的从Source生成barrier数据，从上游往下游传递，当多并行度时下游需要等待上游barrier到达一致时才触发计算。

Spark

1 sparkstreaming怎么读取kafka的数据

  Reciver

  Direct（主要使用方式）

2 sparkstreaming的精准一次性消费

  一般指消费Kafka数据，手动维护偏移量，数据写入段的幂等性\事物性支持，如果都不支持可以将offset和数据写入同一位置，要么全都成功要么全部失败。

Kafka

1Kafka Topic被删除了怎么办？

  生产事故，恢复重跑数据

2 Kafka吞吐量

  20mb/s左右

3 kafka怎么有序消费？

  单分区

  Flink的WaterMark在某些场景可以处理

Hive

1 用到了哪些开窗函数？

  row_number()
  rank()
  dense_rank()
  first_value()
  last_value()
  lag()
  lead()

2 MR流程？

3 MapTask个数?

4 hive的分区和分桶的区别

  分区：分目录
  分桶：分文件

数据仓库

1 每层的数据怎么处理？

2 有多少张表？

  ODS接入了四百多张表

3 整体建模流程？

  数据域调研
  主题域划分
  确定业务过程和维度构建总线矩阵
  确定数据粒度
  确认度量值
  DWD\DWM\DWS构建模型
  ADS跨主题域跨数据域聚合度量值

Scala

1 scala伴生类和伴生对象

  在Scala中，类和对象可以共享同一个名称。当一个对象与一个类共享一个名称时，它被称为伴生对象，而该类被称为伴生类。 伴生对象是与另一个类或特征共享相同名称和源文件的对象，它们的主要设计初衷是为了替代Java中的静态方法和静态变量。伴生对象可以访问其对应的伴生类的私有成员，反之亦然。伴生对象可以为伴生类增加静态成员，并且伴生对象中定义的apply方法可以不使用new新建实例。

  在同一个Scala文件中定义一个类，同时定义一个同名的object，就可以创建一个伴生类和伴生对象的关系，它们可以互相直接访问私有的field。伴生类中可以在域中直接使用“类名.方法”的方式调用伴生对象中的方法，而在main方法中，使用伴生类直接建立一个实例时，属性和方法只能是class域中的；使用伴生对象提供的实例时，属性和方法只能是object域中的。

  伴生对象可以看作是Java中的静态部分，定义的是类中静态属性。在Scala中，没有static关键字，所以如果想实现static的效果，可以使用伴生对象。 例如，在伴生对象中定义apply方法，就可以通过伴生对象的方式进行创建对象，而不是使用new的方式。

2 case class

Redis

1缓存击穿