SparkStreaming实践
SparkStreaming入门案例1234567891011121314151617181920//wordcount案例object WordCount { def main(args: Array[String]): Unit = { val conf = new
...
Zookeeper数据一致性
发表于
|
分类于
The Hadoop Ecosystem
在分布式的环境中,存在多个值,需要从中选定出一个值,达成共识
PaxosPrepare 阶段proposer 在提出议案 N 之前,N 是该议案的编号,需要向至少多数的 acceptor 发送 Prepare（N）请求
acceptor 收到 Prepare（N）请求后
如果之前已经接受了其他议案
...
数据驱动摘要(神策)
发表于
|
分类于
The Hadoop Ecosystem
数据思维与数据驱动1.大数据的概念大:不是数据量的”大”,而是宏观的,覆盖面广全:强调多种数据源细:细节精准,多维度数据时:实时采集实时分析不是截面的静态的,而是时间序列多维度的
信息的四个层次经验——>新事物过去——>未来数据—-离散元素信息—-连接元素知识—-组织信息智慧—-应用知识
...
维度建模
发表于
|
分类于
Project practice results
，
Data Warehouse System
Data仓库中的Data是细节的、集成的、面向主题的,以OLAPSystam的分析需求为目的
阅读《数据仓库工具箱》并作记录,争取在半年内完成…….
构建Data仓库五步法确定主题
例如：我们希望分析某年某月某一地区的啤酒销售情况,这就是一个主题.主题要体现出某一方面的各分析角度(维度)和统计数va
...
数据仓库1.0
发表于
|
分类于
Project practice results
，
Data Warehouse System
AbstractBackground As the number of users increases,the volume of business and data also increases.In order to improve thecompany’s business convers
...
java设计模式
发表于
|
分类于
Programming Language
设计原则单一职责原则不要存在多于一个导致类变更的原因
接口隔离原则客户端不应该依赖它不需要的接口；一个类对另一个类的依赖应该建立在最小的接口上
依赖倒转原则抽象不应该依赖于细节，细节应当依赖于抽象
里式替换原则所有引用基类（父类）的地方必须能透明地使用其子类的对象
开闭原则一个软件实体应当对扩展开放
...
Spark执行流程简单分析
发表于
|
分类于
The Hadoop Ecosystem
，
Learning Spark
spark on yarnYarn-ClusterSpark-Standalone
spark-submit执行脚本在client模式下，脚本通过反射调用程序的业务逻辑
sparksubmit将任务的信息发送给master
master向worker通信,需要的资源信息,application,d
...
Apache-Hbase-API
发表于
|
分类于
The Hadoop Ecosystem
Apache HbaseHbaseUtils
12345678910111213141516171819202122232425262728293031323334353637import org.apache.hadoop.conf.Configuration;import org.apache.
...
Apache-Hive实践
发表于
|
分类于
The Hadoop Ecosystem
Apache-Hive实践数据类型基本数据类型集合数据类型
STRUCT:例如: address struct<street:string, city:string> 可以通过address.street 来访问
ARRAY:例如:friends array 可以通过 friend
...
Spark性能优化简单分析
发表于
|
分类于
The Hadoop Ecosystem
，
Learning Spark
资源调优Spark作业运行基本原理12345678910111213141516171819202122232425261. spark-submit 根据部署模式(本地或集群中某工作节点)启动一个对应的Driver进程,Driver进程本身会根据我们设置的参数,占有一定数量的内存和CPU core
...