使用场景

  1. 高容错
  2. 高扩展
  3. 编程简单
  4. 符合那个数目离线批量计处理（注意，MB级别的多寡直接用Java处理，PB级别以上之才发生必不可少采取mapreduce）
  5. 产生推（需要实时处理数据用Hbase或storm）

1、Ruby程序员的大概

简言之：半行程出家多，进创业公司，拿更高薪水，同好惺惺相惜，社区特别团结。
虽然有人生苦短，Python是沿的布道，但Ruby这宗语言，最近几乎年风靡硅谷。Ruby
on
Rails当然功不可没，这个基于Ruby语言的框架04年出产，06年发火起来，顺带着拿Ruby推向了一个巅峰。

Java的确性能优异，是市面的绝对化刚需。但Java写起笨重，开发进程比缓慢，对小创业公司吧，耗费时间本不过老，迭代无便于。

Ruby因为该迅速搭建以及典型之支付能力，成为众迭代快速的创业企业之无次取舍，使用Ruby的团体大多有小若美的表征。Ruby程序员往往时有发生种植“少言”的底古雅，代码可以。他们多啊半路出家，很多凡自Java转过来，因而5年以上Ruby开发经历的虽已非常稀缺了。

奢圈前CTO Sanvi
Lu曾告诉小编，奢圈曾经是PHP搭建筑起来的，后来转成Ruby。他的经验是，PHP程序员虽然数很多好招人，但鱼上混杂，很为难招到合适的。Ruby程序员虽然少，但人手好，整体素质高，往往除了Ruby之外还塞在同样派系看小本领。性价比超高起没发出！

原理图

image

2、写Ruby是一模一样栽什么的感受？

简书CTO @LarryZhao曾总结了点滴单字——爽、快。（感谢Larry友情出镜~！）
华的Rubyist集聚在Ruby
China这个社区，因为人少，大家都格外团结，组织的浩大人数还是无偿在对论坛进行搭建、维护。Ruby非常user-friendly，即便你是平等只是没有接触了编程的菜鸟开始学Ruby
or
RoR（比如自己），在RubyChina上都见面赶上好热心的Rubyist来解答你的题材。在线下，大家也会无定期地集团一些大团圆，上海底Ruby
Tuesday，就是组织的坏科学的运动。

map任务处理

  1. 读取输入文件内容，解析成key,value对。对输入文件之诸一样尽，解析成key,value对。每一个键值对调用一不良map函数
  2. 写自己之逻辑，处理输入的key,value，转成为新的key，value输出
  3. 对出口的key，value进行分区
  4. 针对两样分区的多寡，按照key进行排序，分组。相同key的value放到一个凑合中
  5. 分组后针对数码进行==归约== （可选）

3、使用Ruby的创业公司如何？

局：英语流利说、薄荷网、简书、Strikingly、奢圈、KnewOne、蝉游记、爱着等。
（还有我司100offer，我司CTO @Frankel 最近像要在信用社做全民on
Rails，不管是模仿物理出身的CEO，还是学社会学（…）出身的小编，都以尝着去打听当下宗神奇的语言。）

店架构：使用Ruby的创业公司，技术团队一般不超越10总人口。在CTO的带领下，一般没严格的等级制度（可能基于资历分为Ruby工程师和高级Ruby工程师），各自扛走各自的职责后火速上马为。能力超凡入圣且资深的Ruby程序员，往往可独当一面。

理所当然，一些特别庄，如阿里和eBay等，因为要兼职高效与安宁，所以时各种语言混搭着来用。一些非核心的作用要某某平等片内容，也来或就此Ruby来写（前几龙还看阿里在招聘Ruby工程师）。

reduce任务处理

  1. 对多独map任务之出口，按照不同之分区，通过网copy到不同的reduce节点。
  2. 本着几近独map任务之出口进行联，排序。写reduce函数自己的逻辑，对输入的key，value处理，转换成新的key，value输出。
  3. 管reduce的出口保存至文件中。

4、Ruby程序员拿多少钱啊？

100offer曾经因平台上的候选人做出了千篇一律卖工资报告，我们来横向对比一下。

注：

1.Ruby程序员的行事时限是赖该行Ruby开发之时限，从事Ruby开发3年以上，可能就是飞去创业企业召开CTO了；

2.Ruby程序员年薪按照14薪算，一般互联网商家丰富奖金，至少可以到14薪饷；

3.斯数吧涉世资料，并非适合统计。

不过得出结论，程序员诚可贵，Ruby价更胜似。

当然，说了那多好话，Ruby现在实际上还是平派系死让争议之言语，为什么？

Ruby is not Java——讨论完毕。

欢迎关注100offer微信，第一时间享受干货！

map&reduce键值对格式

  1. map函数

  2. 输入键值对 <K1,V1>

  3. 输出键值对 <k2,v2>

  4. reduce()函数

  5. 输入键值对 <k2,{v2}>

  6. 出口键值对<k3,v3>

mapreduceg过程各个角色的图

  • jobclient:提交作业
  • jobtracker：初始化作业，分配作业，tasktracker与那个展开通信，协调监控所有作业
  • taskTracker:定期与jobtracker通信，执行map和reduce任务
  • HDFS:保存作业的多少，配置，jar包，结果

学业提交流程

  1. 交由作业准备

  2. 修好的mapreduce程序

  3. 布作业，包括输入输出路径等等

  4. 提交作业

  5. 部署好后，通过jobclient提交

  6. 现实职能

  7. 与jobTracker通信得到一个jar的仓储路径和JobId

  8. 输入输出路径检查，将jobjar拷贝到HDFS中
  9. 写job.xml，真正付诸作业

学业初始化

  1. 客户端提交作业后，jobTracker会将作业在到行列中，然后开展调度，默认是FIFO的法门

  2. 实际成效

  3. 作业初始化主要是依赖JobInProgress中就的

  4. 读取分片信息
  5. 创建task：包括map和reduce任务
  6. 创建taskInProgress执行task，包括map任务和reduce任务

任务分配

  1. TashTracker和jobtracker之间的通信以及任务分配是由此心跳机制落实之
  2. tasktracker会主动定期的想jobtracker发送报告，询问是否来任务要举行，如果有就是报名及任务；如果无任务，就一直申请

职责履行

  1. 当tasktracker拿到任务，会以消息拷贝到地方，包括代码，配置，分片信息等
  2. tasktracker中之localizeJob()方法会为调用进行本地化，拷贝job.jar,jobconf,job.xml到当地
  3. TaskTracker调用launchTaskForJob()方法加载启动任务
  4. MapTaskRunner和ReduceTaskRunner分别启动Javachild统计进行来实施相应的天职

错误处理

  1. JobTracker失败

  2. hadoop2.0事先在单点故障问题

  3. TraskTracker失败

  4. TraskTracker崩溃了会面停止向JobTracker发送心跳信息

  5. JobTracker会将TraskTracker从等待的任务池中移除，并以欠任务变至其他地方实施

  6. JobTracker将TraskTracker加入到黑名单中s

  7. Task失败

  8. 任务失败，会向TraskTracker抛来大，任务挂于

牛逼啦：mapreduce词频统计的原理

HDFS中words文件内容:
hello a
hello b
hello c

  1. map处理
  1. reduce处理

一个敲代码，爱享受的丁，我于此！

来玩啊