流处理基础
发表于
|
分类于
The Hadoop Ecosystem
，
Learning Flink
摘自: 基于Apache Flink的流处理
1.dataflow编程概述
dataflow图(算子 数据源 数据汇)
数据并行和任务并行
数据交换策略:
转发策略(发送端任务和接收端任务之间一一对应进行传输)广播策略()基于键值的策略(根据某一键值属性对数据分区)随机策略
2.并行流处
...
排序算法
发表于
|
分类于
Computer engineering
，
Arithmetic
内排冒泡选择快排1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757
...
Spark常用算子分析
发表于
|
分类于
The Hadoop Ecosystem
，
Learning Spark
Transformationmap and filter123456789101112object MapAndFilterDemo { def main(args: Array[String]): Unit = { val sc = new SparkContext(n
...
linux常用命令
发表于
|
分类于
Computer engineering
文件管理rmrm filename:删除文件
rm -r :询问删除目录内容或者文件
rm -rf 删除当前目录下的所有文件及目录，并且是直接删除
rm -r * 删除当前目录下的所有内容
catcat -n filename:给文件内容添加行号,空行也添加
cat -b filename
...
Lambda 架构
发表于
|
分类于
The Hadoop Ecosystem
(一).新范式传统数据库的不足
数据库更不上负载:解决方法-用队列扩展
数据库再次超载:解决方法-通过数据库进行分片扩展
处理容错问题
损坏问题
系统必须是可以容忍人为错误的
大数据系统应有的属性
鲁棒性和容错性
低延迟读取和更新
可扩展性
通用性
延展性(目标实现大规模迁移)
...
Spark数据案例分析
发表于
|
分类于
The Hadoop Ecosystem
，
Learning Spark
RDD案例一:连续登陆1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859object ContinuouslandingRdd &#
...
Scala容器操作
发表于
|
分类于
Programming Language
Scala必要的知识函数的类型与类型推断
12345678910111213141516171819object Test6 { def main(args: Array[String]): Unit = { } //1.反思为什么可以这样写 val f :
...
Java容器详解
发表于
|
分类于
Programming Language
一.ArrayList和LinkedList的区别以及优缺点
ArrayList是实现了基于动态数组的数据结构，LinkedList是基于链表结构。
对于随机访问的get和set方法，ArrayList要优于LinkedList，因为LinkedList要移动指针。
对于新增和删除操作ad
...