使用场景
- 高容错
- 高扩展
- 编程简单
- 符合那个数目离线批量计处理（注意，MB级别的多寡直接用Java处理，PB级别以上之才发生必不可少采取mapreduce）
- 产生推（需要实时处理数据用Hbase或storm）
1、Ruby程序员的大概
简言之：半行程出家多，进创业公司，拿更高薪水，同好惺惺相惜，社区特别团结。
虽然有人生苦短，Python是沿的布道，但Ruby这宗语言，最近几乎年风靡硅谷。Ruby
on
Rails当然功不可没，这个基于Ruby语言的框架04年出产，06年发火起来，顺带着拿Ruby推向了一个巅峰。
Java的确性能优异，是市面的绝对化刚需。但Java写起笨重，开发进程比缓慢，对小创业公司吧，耗费时间本不过老，迭代无便于。
Ruby因为该迅速搭建以及典型之支付能力，成为众迭代快速的创业企业之无次取舍，使用Ruby的团体大多有小若美的表征。Ruby程序员往往时有发生种植“少言”的底古雅，代码可以。他们多啊半路出家，很多凡自Java转过来，因而5年以上Ruby开发经历的虽已非常稀缺了。
奢圈前CTO Sanvi
Lu曾告诉小编，奢圈曾经是PHP搭建筑起来的，后来转成Ruby。他的经验是，PHP程序员虽然数很多好招人，但鱼上混杂，很为难招到合适的。Ruby程序员虽然少，但人手好，整体素质高，往往除了Ruby之外还塞在同样派系看小本领。性价比超高起没发出！
原理图
image
2、写Ruby是一模一样栽什么的感受？
简书CTO @LarryZhao曾总结了点滴单字——爽、快。（感谢Larry友情出镜~！）
华的Rubyist集聚在Ruby
China这个社区，因为人少，大家都格外团结，组织的浩大人数还是无偿在对论坛进行搭建、维护。Ruby非常user-friendly，即便你是平等只是没有接触了编程的菜鸟开始学Ruby
or
RoR（比如自己），在RubyChina上都见面赶上好热心的Rubyist来解答你的题材。在线下，大家也会无定期地集团一些大团圆，上海底Ruby
Tuesday，就是组织的坏科学的运动。
map任务处理
- 读取输入文件内容，解析成key,value对。对输入文件之诸一样尽，解析成key,value对。每一个键值对调用一不良map函数
- 写自己之逻辑，处理输入的key,value，转成为新的key，value输出
- 对出口的key，value进行分区
- 针对两样分区的多寡，按照key进行排序，分组。相同key的value放到一个凑合中
- 分组后针对数码进行==归约== （可选）
3、使用Ruby的创业公司如何？
局：英语流利说、薄荷网、简书、Strikingly、奢圈、KnewOne、蝉游记、爱着等。
（还有我司100offer，我司CTO @Frankel 最近像要在信用社做全民on
Rails，不管是模仿物理出身的CEO，还是学社会学（…）出身的小编，都以尝着去打听当下宗神奇的语言。）
店架构：使用Ruby的创业公司，技术团队一般不超越10总人口。在CTO的带领下，一般没严格的等级制度（可能基于资历分为Ruby工程师和高级Ruby工程师），各自扛走各自的职责后火速上马为。能力超凡入圣且资深的Ruby程序员，往往可独当一面。
理所当然，一些特别庄，如阿里和eBay等，因为要兼职高效与安宁，所以时各种语言混搭着来用。一些非核心的作用要某某平等片内容，也来或就此Ruby来写（前几龙还看阿里在招聘Ruby工程师）。
reduce任务处理
- 对多独map任务之出口，按照不同之分区，通过网copy到不同的reduce节点。
- 本着几近独map任务之出口进行联，排序。写reduce函数自己的逻辑，对输入的key，value处理，转换成新的key，value输出。
- 管reduce的出口保存至文件中。
4、Ruby程序员拿多少钱啊？
100offer曾经因平台上的候选人做出了千篇一律卖工资报告，我们来横向对比一下。
注：
1.Ruby程序员的行事时限是赖该行Ruby开发之时限，从事Ruby开发3年以上，可能就是飞去创业企业召开CTO了；
2.Ruby程序员年薪按照14薪算，一般互联网商家丰富奖金，至少可以到14薪饷；
3.斯数吧涉世资料，并非适合统计。
不过得出结论，程序员诚可贵，Ruby价更胜似。
当然，说了那多好话，Ruby现在实际上还是平派系死让争议之言语，为什么？
Ruby is not Java——讨论完毕。
欢迎关注100offer微信，第一时间享受干货！
map&reduce键值对格式
-
map函数
-
输入键值对 <K1,V1>
-
输出键值对 <k2,v2>
-
reduce()函数
-
输入键值对 <k2,{v2}>
- 出口键值对<k3,v3>
mapreduceg过程各个角色的图
- jobclient:提交作业
- jobtracker：初始化作业，分配作业，tasktracker与那个展开通信，协调监控所有作业
- taskTracker:定期与jobtracker通信，执行map和reduce任务
- HDFS:保存作业的多少，配置，jar包，结果
学业提交流程
-
交由作业准备
-
修好的mapreduce程序
-
布作业，包括输入输出路径等等
-
提交作业
-
部署好后，通过jobclient提交
-
现实职能
-
与jobTracker通信得到一个jar的仓储路径和JobId
- 输入输出路径检查，将jobjar拷贝到HDFS中
- 写job.xml，真正付诸作业
学业初始化
- 客户端提交作业后，jobTracker会将作业在到行列中，然后开展调度，默认是FIFO的法门
-
实际成效
-
作业初始化主要是依赖JobInProgress中就的
- 读取分片信息
- 创建task：包括map和reduce任务
- 创建taskInProgress执行task，包括map任务和reduce任务
任务分配
- TashTracker和jobtracker之间的通信以及任务分配是由此心跳机制落实之
- tasktracker会主动定期的想jobtracker发送报告，询问是否来任务要举行，如果有就是报名及任务；如果无任务，就一直申请
职责履行
- 当tasktracker拿到任务，会以消息拷贝到地方，包括代码，配置，分片信息等
- tasktracker中之localizeJob()方法会为调用进行本地化，拷贝job.jar,jobconf,job.xml到当地
- TaskTracker调用launchTaskForJob()方法加载启动任务
- MapTaskRunner和ReduceTaskRunner分别启动Javachild统计进行来实施相应的天职
错误处理
-
JobTracker失败
-
hadoop2.0事先在单点故障问题
-
TraskTracker失败
-
TraskTracker崩溃了会面停止向JobTracker发送心跳信息
- JobTracker会将TraskTracker从等待的任务池中移除，并以欠任务变至其他地方实施
-
JobTracker将TraskTracker加入到黑名单中s
-
Task失败
-
任务失败，会向TraskTracker抛来大，任务挂于
牛逼啦：mapreduce词频统计的原理
HDFS中words文件内容:
hello a
hello b
hello c
- map处理
- reduce处理
一个敲代码，爱享受的丁，我于此！
来玩啊