本文发表在 rolia.net 枫下论坛HADOOP和AWS有一个类似的地方，就是这两个技术是不讲解细节的。
默认需要5-8年以上的UNIX,ORACLE,J2EE，WEBSPHERE经验，没有工作经验的人看HADOOP和AWS是看不懂的，，，
即使看懂了，也找不到工作。。。
技术帖子，有关HADOOP，召集哥们
这个话题几乎所有做IT的都谈论过，因为这个和IT架构，数据库，统计，云密切相关
也是一个现实问题，将来的ADMIN等工作都会消失，就是因为云和HADOOP，10年前的靠UNIX.ORACLE走遍天下的情况不会太多了。。。
另外，HADOOP的一些M-R设计，开始就是从JAVA的架构开始的，而且HBASE这种NOSQL的查询语法，基本就是SQL和JAVA的杂交。。。MAHOUNT,PIG等也可以勉强完成统计，但是最直接的还是JAVA的设计，没有JAVA的基础，HADOOP学习的过程会很痛苦，，
1：HBASE难点，这个不多说了，如果有ORACLE基础，看这个不复杂，需要对分布式数据库有理解，CAP结构，，，ORACLE的很多架构其实都是紧密围绕UNDO,REDO,内存中的MEMORY CACHE,SHARED-POOL展开，具体的细节很多，比如每个数据块的ITL,ROWID,内存中的LRU,LRUW,CHEP三大链表结构，，，注意，CHEKPOINT是ORACLE 8I后有的，他的细节如果彻底理解，需要懂得深入的ORACLE架构，，，IMU也是这个原理，，，锁，闩概念不同，，
RMAN,REDO，DATAGUARD三模式，RAC都是这样，懂得深入的ORACLE架构，一通百通，如果仅仅是熟悉ORACLE命令和皮毛知识，只能算入门，手熟而已
另外，我和很多ORACLE 高手交谈过，很多ORACLE 高手对存储，SAN，ORACLE的ASM等理解不深刻，，毕竟ORACLE 哥们没有花费时间在系统上，，，ORACLE高手能亲自动手操作高端HDS,EMC存储柜的几乎不多，，所以不理解也正常。。。
存储也是一个类似一通百通的东西，只要对一个高端存储熟悉，那么ASM的AU，NETAPP的WAFL，还有SNAPSHOT惩罚，SILENT和NOISE ERROR都会深刻理解，，，
注意！这个是国内十几亿人，北美几亿人都没有的角度，我用NETAPP,HDS的硬件存储架构去理解HDFS的文件系统，他们直接有非常类似的结构！L3,L2,L1的INODE寻址方式，协调明显是偷用的VCFS的QUICK IO.CTG等成熟方法，，，
估计ROLIA有IBM的GPFS文件系统高手，我想知道IBM内部的文件系统是如何设计的，，，我估计IBM.GOOGLE的文件系统的设计比HDFS牛逼的多，，，
存储的难点是躲避不了的，尤其是最近的VMWARE，这个软件火爆，但是很多人只是皮毛，操作，对VMWARE的内部原理，迁移无法彻底理解，，不理解存储，那么就无法彻底理解VVMWARE，，
类似VMWARE有IBM.HP的各种虚拟主机解决方案，，大部分是换汤不换药
11G很多特点，FLASH,RAC,IMU，性能的AWR,ADR,STACHSTAT等其实都是在基本概念上的扩展，ORACLE的特点是越来越简单，很多以前复杂的东西，现在11G几个参数搞定，，，
HBASE 是极其独特的“列族”的数据库，可以看作是个马大哈，大老粗版本的ORACLE，简单粗暴，效率高！哈哈哈
2：HDFS，这个不多说，有UNIX基础的明白，三大厂家，VERITAS都在文件系统上有突出贡献，，，，这个是山寨的GOOGLE的文件系统
3：M-P，这个不复杂，需要对JAVA有理解。。。注意，统计，SAS专业的有些特别的簇类，推荐模式等算法不太适合M-P，HADOOP高手不好培养就在于此！！懂得SAS统计的女士很多，但是女士一般不懂IT，，，，我对IT大部分软硬件都熟悉，但是我SAS,统计的功夫不够，我一看那些统计的数学原理就头大，毕竟我本科没有学过这些，，不过最近这个圣诞节我可以看看SAS的具体细节，，另外，SAS真昂贵啊！！！正版价格百万，，每年续费
4：HADOOP架构，这个是我强项，不多说了，，，，总之，HADOOP的所谓配置等概念，完全是偷的HACMP.MCSG.VCS，很多所谓的超时，心跳，BRAIN SPLIT，都是类似的概念。。
翻来掉过去，就是配置两个配置文件，，，花样不多。。。
而且，HADOOP偷的还不彻底！NAME NODE,DATA NODE没有做到单点故障自动切换！！
类似ORACLE的HA方案，明显是偷的HP.IBN.VERITAS，但是偷的不彻底，，CRS，ASM太简单，玩具一样的HA方案，，，ORACLE对包，应用等没有良好的概念，，这点VCS做的比较好，不过，最新版本的HP MCSG也从VCS偷学了很多概念，，，，不谈了，MCSG谈论起来是极其复杂的，细节太多。。。
HADOOP不是天外来客，HADOOP的所有技术都是在前人的基础上，优秀的山寨过程！！最牛逼是免费。。
HADOOP的简单粗暴很多，比如HADOOP,HBASE版本很多不匹配！极其小心！！连官方文档都是模糊的！！HADOOP没有安全功能，，，因为时间紧张，没时间开发，，哈哈哈
话题太多，ZOOKEEPER的HIVE就是一个类似HIBERNATE的交互工具。。。
碰巧，我恶补过两年的JAVA,STRUTS,HIBERNATE,SERVLET,SPRING等大量图书，所以才有勇气去学HADOOP。。。否则靠我的三板斧也看不懂HADOOP。
HADOOP的成就可以简单说，几十个，几百个低端PC SREVER，费用估计也就是5-10万加币，完成了几百万加币的小型机，高端存储都无法完成大数据分析的项目，，，
学的我头昏眼花，一个人实在顶不住，有学习HADOOP的哥们可以和我联系。。圣诞加春节，彻底搞定！！！可恨的是，目前市面，连HADOOP的书籍都很少，，，而且书籍的内容更新太快，，，13年的书都老了。。。
(#98
人想一起学习Hadoop 吗？ -blancviolets(来去匆匆); 5-21 (473, #10114171@0) +1 reply
○ 我有好友在美国的Cloudera（相当于Hadoop里面的RedHat）做售后客户支持，可是不好意思总是麻烦他，想找一个本地的一起学的同学，互相交流，汇总了问题我可以拿去问他。 -blancviolets(来去匆匆); 5-22 (#10114589@0) +1 reply
○ +1 另外我也已经下了不少学习资料，video，书都有。你要一起学的话我share给你好了。 报个培训班是最后的选项，不是钱的问题，是没有时间。自学的话有难处，但是时间上安排起来更方便。先看看吧，实在不行再找地方去学，你若是有推荐的话请告诉我，谢了先。 -blancviolets(来去匆匆); 5-22 (#10114591@0) +1 reply
○ 刚准备学，下载了一个hortanworks VM -finchave(FinchAve); 5-23 (#10115430@0) +1 reply
● 请有兴趣的朋友私信留个电话，email和微信好吗？我们一起学，重新出发 :) -blancviolets(来去匆匆); 5-23 (#10115665@0) +1 reply
● 借你贴子招聘。我部门招聘Hadoop application designer 和 developer. 有兴趣请PM更多精彩文章及讨论，请光临枫下论坛 rolia.net