Category - Spark

Spark    2018-01-24 23:11:06    651    0    0
## 前言 ETL是 Extract-Transform-Load的缩写,也就是抽取-转换-加载,在数据工作中是非常重要的部分。实际上,ETL就是一个对数据进行批处理的过程,一个ETL程序就是一个批处理脚本,执行时能将一堆数据转化成我们需要的形式。 每个接触过数据批处理的工程师,都走过ETL的流程,只是没有意识到而已。按照ETL过程的框架来重新认识数据批处理,有利于我们更清晰地编写批处理脚本。