2019-09-18 01:03:36    48    0    0
这个清单里的游戏都是我手上已经有的多人游戏,其中大多数都和同事们一起玩过了。 以下涉及的难度评价综合了我自己的经验判断和同事们的游戏反馈。 上手难度指的是要了解这个游戏的基本玩法,能把游戏玩下去,所需要的最低学习量。 操作难度指的是游戏操作的复杂程度。 ## PS4 ### 对抗 #### PES2018 ![PES2018](https://store.playstation.com/
2019-05-08 11:07:46    565    0    0
# 这个清单里的游戏都是我手上已经有的多人游戏,其中大多数都和同事们一起玩过了。 以下涉及的难度评价综合了我自己的经验判断和同事们的游戏反馈。 上手难度指的是要了解这个游戏的基本玩法,能把游戏玩下去,所需要的最低学习量。 操作难度指的是游戏操作的复杂程度。 ## PS4 ### 对抗 #### PES2018 ![PES2018](https://store.playstation.
Airflow    2019-04-30 18:11:54    1164    0    0
注:本文主要是对已有教程的补充。事实上,关于如何安装和使用Airflow,在网络上 已经有了足够多的入门教程了,而且官方的教程也写得比较清晰了,手把手执行完全不成问题。本文主要是介绍Airflow的一些概念,方便读者了解编程模型,阅读源码,降低进阶学习的成本。 --- # 应用场景 任何工具都有自己的主要应用场景,结合主要应用场景来学习实践,会更为高效。Airflow作为一款调度系统,主要
Airflow    2019-04-30 18:11:54    4601    0    0
在Airflow中,每一个DAG,代表一个ETL Workflow。编写DAG脚本是很容易的事,它以Python脚本的形式存在,只需要了解基本的编写思路和常用的Operator功能就可以编写出自己的Operator。编写完成后,需要进行调试以及线上测试,当线上测试完成之后,就可以正式部署,激活这个DAG,每天自动生产数据了。 ## 编写 DAG脚本就是一个Python脚本,这个脚本需要生成一个
2018-04-26 10:54:04    255    0    0
翻译自http://www.1keydata.com/datawarehousing/glossary.html,部分词汇在原文的解释不太清楚,我就加上了自己的理解。 * 聚合(Aggregation):一种加速查询性能的方法。从原始事实表中选出一些维度对度量数据进行聚合,得到新的聚合事实表,它的数据量更小,因而可以获得更快的查询速度。 * 属性(Attribute):属性代表了维度里的一个单
Airflow    2018-03-28 11:13:16    580    0    0
网络上随手一搜就能找到很多Airflow的教程,不过大多数都非常初级,只是简单地教你怎么安装和编写最简单的DAG,实用价值不高,下面推荐的这些资料,不仅可以帮助入门,还可以提供进阶知识。 ## Apache Airflow Documentation http://incubator-airflow.readthedocs.io/en/latest/index.html 官方文档,介绍了很多细
Airflow    2018-03-09 16:33:52    2111    0    0
注:阅读本文之前,应该先阅读[Airflow DAG从编写到部署](http://longfei.leanote.com/post/airflow-dag),了解如何在Airflow上部署一个数据任务。 --- 数据任务部署上线之后,就需要关注它每天的运行状况了。 在理想情况下,我们的数据任务应该会顺利地完成,并按设定的周期重复。但现实总是不尽如人意,会有各种各样的意外,比如服务器资源不足、
Presto    2018-01-25 11:00:16    617    0    0
与Hive QL不同,Presto支持的SQL是标准SQL,在语法上与MySQL非常相似,只有细微的区别。 以下是我在实践过程中发现的一些需要注意的地方。 - 列别名不能加引号,比如 `select x 'y' from tbl` 是会报错的,只能写 `select x as y from tbl` 或者 `select x y from tbl` - 反引号 \`需要替换成 双引号 "
Spark    2018-01-24 23:11:06    751    0    0
## 前言 ETL是 Extract-Transform-Load的缩写,也就是抽取-转换-加载,在数据工作中是非常重要的部分。实际上,ETL就是一个对数据进行批处理的过程,一个ETL程序就是一个批处理脚本,执行时能将一堆数据转化成我们需要的形式。 每个接触过数据批处理的工程师,都走过ETL的流程,只是没有意识到而已。按照ETL过程的框架来重新认识数据批处理,有利于我们更清晰地编写批处理脚本。
Hive Presto    2018-01-24 23:11:06    1675    0    0
# 简介 如果要使用Python来连接Hive和Presto,就需要相关的驱动包。目前比较好用的驱动包是pyhive https://github.com/dropbox/PyHive pyhive支持连接Hive和Presto,实质是安装了一个驱动,类似于pymysql之于MySql,任何在Python里能创建一般化的数据库连接的包,都可以用来创建Hive、Presto连接。 # 安装 在终
1/2