分布式系统基础架构 Hadoop

分布式系统基础架构 Hadoop

Apache
Java 查看源码»
跨平台
Apache
2008-09-14

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

下图是Hadoop的体系结构:

加载中

Cloudera 将以 53 亿美元被收购并私有化

企业数据云管理公司 Cloudera 宣布已达成一项最终协议,其将被 Clayton、Dubilier & Rice("CD&R")和 KKR 的关联公司收购,全现金交易价值约为 53 亿美元。该交易预计于 2021 年下半年完成,...

06/03 08:33

Apache Hadoop 3.3.0 发布,首个支持 ARM 的版本

Apache Hadoop 3.3.0 发布了,主要更新内容有: 支持 ARM:这是第一个支持 ARM 架构的版本 从 2.5.0 升级 protobuf:随着 protobuf-2.5.0 结束生命周期,Protobuf 升级到 3.7.1 S3A 增强功能...

2020/07/31 07:53

Apache Hadoop 3.2.0 发布,3.x 系列最大版本

Apache Hadoop 3.2.0 发布了,这是 Hadoop 3.x 系列中最大的一个版本,带来了许多新功能和 1000 多个更改,通过 Hadoop 3.0.0 的云连接器的增强功能进一步丰富了平台,并服务于深度学习用例和...

2019/01/30 07:53

Hadoop 巨头完成合并,成为全球第二大开源软件公司

去年 10 月份,大数据领域 Hadoop 巨头 Cloudera 与 Hortonworks 宣布合并,给业界带来不小震动。 两家公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,...

2019/01/12 08:04

2018 年的 Apache 社区不平凡:让数字来说话

对于整个Apache社区来说,2018年是不平凡的一年。Apache软件基金会共管理着近2亿行代码,我们持续不断地取得成功,这归功于社区主导的开发模式:“Apache之道”(The Apache Way),300多个A...

2019/01/04 08:09

Hadoop 之父:开发者应将开源纳入职业规划

据福布斯报道,Hadoop 之父 Doug Cutting 在近日的 Oracle Code One 大会(原 JavaOne ) 上,获得了“开拓者奖”(Groundbreaker Award)。Doug Cutting 是 Hadoop 的创始人之一,Cloudera ...

2018/12/11 08:08

Google 收购 Cask 以强化云端 Hadoop 的应用生态

Cask 的主要产品 CDAP 是一个开源的应用平台,它整合了 Hadoop 生态,提供数据以及应用的抽象层,使得开发者能以快速且简单的方式开发应用。 Cask 创始人 Jonathan Gray 和 Nitin Motgi 在官...

2018/05/19 08:01

Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在...

2018/04/13 10:51

Apache Hadoop 3.0.1 发布,bug 修复和性能增强

Apache Hadoop 3.0.1 版本正式发布,属于 3.0 版本线,包含了 42 处 bug 修复和性能加强。 请注意:NameNode 的默认 RPC 端口改回了 8020(在 3.0.0 版本中为 9820) HADOOP-15027 AliyunOSS...

2018/03/26 18:49

没有更多内容

加载失败,请刷新页面

27
回答
高手问答第 266 期 —— 带你从 0 到 1 掌握大数据技术
白开水不加糖 的回答 08/30 14:25
最佳答案
高手问答第 266 期 —— 带你从 0 到 1 掌握大数据技术 @feelings777 ,@hncscwc ,@znz ,@xiaour ,@开源中国首席尿黄师 恭喜以上五位网友分别获得《大数据技术架构:核心原理与应用实践》图书一本 请私信 @白开水不加糖 告知快递信息(格式:姓名+电话+地址)
1
回答
CDH收费后大家都用什么版本的hadoop?

CDH收费后大家都用什么版本的hadoop?

07/26 15:21
2
回答
hadoop集群中每台都必须启动DataNode吗,可以只启动NN而不启动DN吗

我刚学习大数据四天左右吧,今天按照阿帕奇的官方文档把集群搭建出来了,用了四台虚拟机来模拟,然后使用集群群启脚本后发现每台服务器都启动了DataNode,但...

2020/04/10 16:10
5
回答
sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly

软件运行环境:redhat 6 hadoop-2.6.0-cdh5.9.0 hive-1.1.0-cdh5.9.0 sqoop-1.4.6-cdh5.9....

2016/12/09 17:38
2
回答
spark beeline 查询问题

beeline 通过thriftsvr 建立session select 的时候只能出现第一列的值,如下图: 单select一列数据的时候,可正常输出 求解答

2016/01/08 13:36
3
回答
HBase中车辆轨迹数据保存方案

我们有个项目是用来查询车辆的轨迹,在某个市的每条主要道路的十字路口都安装了采集设备,车辆经过时会采集到车辆信息,包括车牌号码、采集时间、采集经纬度。平均每...

2016/11/30 14:45
2
回答
openSOC环境具体如何搭建

@Booklearn 你好,想跟你请教个问题: 最近看了官方给的openSOC开源项目,但是看的云里雾里,不知道具体该如何搭建这样的一个环境,根据文档的介...

2015/09/06 23:55
2
回答
“2020 年度 OSC 中国开源项目评选” 活动说明

>>> 2020 年度 OSC 中国开源项目评选结果已公布! “2020 年度 OSC 中国开源项目评选” 活动将评出最佳人气项目、优秀 Gitee 组织...

2020/10/19 15:38
52
回答
程序员的出路在哪里?七年半老程序员的一点心得

我是南方人,大专,软件技术专业,2011年底出来实习做前端。实习大家都懂的,薪资低任务重,做了大半年,到2012年拿了毕业证就离职了。说实话当时的技术也菜...

2019/06/28 22:08
3
回答
hadoop2.5编译出现The requested profile "native" could not be activated because it does not exist?怎么解决

Downloading: http://maven.oschina.net/content/groups/public/org/mockito/mocki...

2015/02/15 00:22

没有更多内容

加载失败,请刷新页面

Hadoop(Hadoop优化)

Hadoop(Hadoop优化) 及 配置情况

2015/06/11 10:37
757
0
Hadoop记录-Hadoop jmx

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 认识...

2019/03/29 10:39
105
0
Hadoop hadoop balancer配置

hadoop版本:2.9.2 1、带宽的设置参数: dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小:dfs.datanode.max.transfer.threads 默认值4096 3、修改d...

2019/07/12 18:06
169
0
Hadoop已死,Hadoop万岁

云,在地平线之内 最近又有很多关于“Hadoop已死”的论调,似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己,而是一家企业数据公司。如今,Clo...

2019/09/15 09:43
462
0
Hadoop 之初识Hadoop

Hadoop 之初识Hadoop

2015/04/02 12:46
922
0
Hadoop开发 Hadoop视频教程 段海涛老师Hadoop完全攻克Hadoop视频教程 Hadoop开发

最新在学习hadoop 、storm大数据相关技术,发现网上hadoop 、storm 相关学习视频少之又少,更可恶的是不少机构使用段海涛老师Hadoop视频进行商业买卖,气愤至急,我这里整理了传智播客段海涛...

2019/01/28 15:30
190
0
Hadoop

Hadoop集群 主节点:dd 从节点:dd1 dd2 添加节点:dd3 -------------------------------------------------------------------------------- 快速安装 #无密互通 ssh-keygen ssh-copy-id -...

2019/02/18 13:38
44
0
hadoop

前置条件: Linux + JDK master-slave架构: masters: NameNode + ResourceManager slaves: DataNode/NodeManager 守护进程: HDFS: NameNode, SecondaryNameNode, DataNode YARN: Resource...

2018/03/23 12:20
13
0
Hadoop

Hadoop的起源 2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Guttin...

2019/05/06 11:31
18
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部