×

Loading...

刚看到有人想学HADOOP的,这个已经过时了,而且HADOOP概念不复杂,就是VERITAS加上ORALE,J2EE架构。我正在看AWS的认证资料,。我感觉,下一代的趋势就是AMAZON ,,,爱好AWS的多联系

c_c-hp (c_c-hp)
本文发表在 rolia.net/zh 相约加拿大网上社区枫下论坛
HADOOP和AWS有一个类似的地方,就是这两个技术是不讲解细节的。
默认需要5-8年以上的UNIX,ORACLE,J2EE,WEBSPHERE经验,没有工作经验的人看HADOOP和AWS是看不懂的,,,
即使看懂了,也找不到工作。。。





技术帖子,有关HADOOP,召集哥们


这个话题几乎所有做IT的都谈论过,因为这个和IT架构,数据库,统计,云密切相关

也是一个现实问题,将来的ADMIN等工作都会消失,就是因为云和HADOOP,10年前的靠UNIX.ORACLE走遍天下的情况不会太多了。。。

另外,HADOOP的一些M-R设计,开始就是从JAVA的架构开始的,而且HBASE这种NOSQL的查询语法,基本就是SQL和JAVA的杂交。。。MAHOUNT,PIG等也可以勉强完成统计,但是最直接的还是JAVA的设计,没有JAVA的基础,HADOOP学习的过程会很痛苦,,

1:HBASE难点,这个不多说了,如果有ORACLE基础,看这个不复杂,需要对分布式数据库有理解,CAP结构,,,ORACLE的很多架构其实都是紧密围绕UNDO,REDO,内存中的MEMORY CACHE,SHARED-POOL展开,具体的细节很多,比如每个数据块的ITL,ROWID,内存中的LRU,LRUW,CHEP三大链表结构,,,注意,CHEKPOINT是ORACLE 8I后有的,他的细节如果彻底理解,需要懂得深入的ORACLE架构,,,IMU也是这个原理,,,锁,闩概念不同,,

RMAN,REDO,DATAGUARD三模式,RAC都是这样,懂得深入的ORACLE架构,一通百通,如果仅仅是熟悉ORACLE命令和皮毛知识,只能算入门,手熟而已

另外,我和很多ORACLE 高手交谈过,很多ORACLE 高手对存储,SAN,ORACLE的ASM等理解不深刻,,毕竟ORACLE 哥们没有花费时间在系统上,,,ORACLE高手能亲自动手操作高端HDS,EMC存储柜的几乎不多,,所以不理解也正常。。。

存储也是一个类似一通百通的东西,只要对一个高端存储熟悉,那么ASM的AU,NETAPP的WAFL,还有SNAPSHOT惩罚,SILENT和NOISE ERROR都会深刻理解,,,

注意!这个是国内十几亿人,北美几亿人都没有的角度,我用NETAPP,HDS的硬件存储架构去理解HDFS的文件系统,他们直接有非常类似的结构!L3,L2,L1的INODE寻址方式,协调明显是偷用的VCFS的QUICK IO.CTG等成熟方法,,,
估计ROLIA有IBM的GPFS文件系统高手,我想知道IBM内部的文件系统是如何设计的,,,我估计IBM.GOOGLE的文件系统的设计比HDFS牛逼的多,,,

存储的难点是躲避不了的,尤其是最近的VMWARE,这个软件火爆,但是很多人只是皮毛,操作,对VMWARE的内部原理,迁移无法彻底理解,,不理解存储,那么就无法彻底理解VVMWARE,,

类似VMWARE有IBM.HP的各种虚拟主机解决方案,,大部分是换汤不换药

11G很多特点,FLASH,RAC,IMU,性能的AWR,ADR,STACHSTAT等其实都是在基本概念上的扩展,ORACLE的特点是越来越简单,很多以前复杂的东西,现在11G几个参数搞定,,,
HBASE 是极其独特的“列族”的数据库,可以看作是个马大哈,大老粗版本的ORACLE,简单粗暴,效率高!哈哈哈
2:HDFS,这个不多说,有UNIX基础的明白,三大厂家,VERITAS都在文件系统上有突出贡献,,,,这个是山寨的GOOGLE的文件系统

3:M-P,这个不复杂,需要对JAVA有理解。。。注意,统计,SAS专业的有些特别的簇类,推荐模式等算法不太适合M-P,HADOOP高手不好培养就在于此!!懂得SAS统计的女士很多,但是女士一般不懂IT,,,,我对IT大部分软硬件都熟悉,但是我SAS,统计的功夫不够,我一看那些统计的数学原理就头大,毕竟我本科没有学过这些,,不过最近这个圣诞节我可以看看SAS的具体细节,,另外,SAS真昂贵啊!!!正版价格百万,,每年续费

4:HADOOP架构,这个是我强项,不多说了,,,,总之,HADOOP的所谓配置等概念,完全是偷的HACMP.MCSG.VCS,很多所谓的超时,心跳,BRAIN SPLIT,都是类似的概念。。
翻来掉过去,就是配置两个配置文件,,,花样不多。。。

而且,HADOOP偷的还不彻底!NAME NODE,DATA NODE没有做到单点故障自动切换!!
类似ORACLE的HA方案,明显是偷的HP.IBN.VERITAS,但是偷的不彻底,,CRS,ASM太简单,玩具一样的HA方案,,,ORACLE对包,应用等没有良好的概念,,这点VCS做的比较好,不过,最新版本的HP MCSG也从VCS偷学了很多概念,,,,不谈了,MCSG谈论起来是极其复杂的,细节太多。。。
HADOOP不是天外来客,HADOOP的所有技术都是在前人的基础上,优秀的山寨过程!!最牛逼是免费。。
HADOOP的简单粗暴很多,比如HADOOP,HBASE版本很多不匹配!极其小心!!连官方文档都是模糊的!!HADOOP没有安全功能,,,因为时间紧张,没时间开发,,哈哈哈
话题太多,ZOOKEEPER的HIVE就是一个类似HIBERNATE的交互工具。。。
碰巧,我恶补过两年的JAVA,STRUTS,HIBERNATE,SERVLET,SPRING等大量图书,所以才有勇气去学HADOOP。。。否则靠我的三板斧也看不懂HADOOP。

HADOOP的成就可以简单说,几十个,几百个低端PC SREVER,费用估计也就是5-10万加币,完成了几百万加币的小型机,高端存储都无法完成大数据分析的项目,,,

学的我头昏眼花,一个人实在顶不住,有学习HADOOP的哥们可以和我联系。。圣诞加春节,彻底搞定!!!可恨的是,目前市面,连HADOOP的书籍都很少,,,而且书籍的内容更新太快,,,13年的书都老了。。。
(#98



人想一起学习Hadoop 吗? -blancviolets(来去匆匆); 5-21 (473, #10114171@0) +1 reply
○ 我有好友在美国的Cloudera(相当于Hadoop里面的RedHat)做售后客户支持,可是不好意思总是麻烦他,想找一个本地的一起学的同学,互相交流,汇总了问题我可以拿去问他。 -blancviolets(来去匆匆); 5-22 (#10114589@0) +1 reply
○ +1 另外我也已经下了不少学习资料,video,书都有。你要一起学的话我share给你好了。 报个培训班是最后的选项,不是钱的问题,是没有时间。自学的话有难处,但是时间上安排起来更方便。先看看吧,实在不行再找地方去学,你若是有推荐的话请告诉我,谢了先。 -blancviolets(来去匆匆); 5-22 (#10114591@0) +1 reply
○ 刚准备学,下载了一个hortanworks VM -finchave(FinchAve); 5-23 (#10115430@0) +1 reply
● 请有兴趣的朋友私信留个电话,email和微信好吗?我们一起学,重新出发 :) -blancviolets(来去匆匆); 5-23 (#10115665@0) +1 reply
● 借你贴子招聘。我部门招聘Hadoop application designer 和 developer. 有兴趣请PM
更多精彩文章及讨论,请光临枫下论坛. 网址: rolia.net/zh
(#10127516@0)
2016-5-31 -05:00
Reply
Page address has been copied.
To share, click to copy page address.
Share Online by QR Code

Back To Topic: 刚看到有人想学HADOOP的,这个已经过时了,而且HADOOP概念不复杂,就是VERITAS加上ORALE,J2EE架构。我正在看AWS的认证资料,。我感觉,下一代的趋势就是AMAZON ,,,爱好AWS的多联系

Back To Forum: HOME枫下论坛枫下论坛主坛工作学习学科技术