微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

大数据平台任务调度与监控系统

大数据平台 lxw1234@qq.com 574594℃ 311评论

背景

大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python等。

这些任务需要不同的运行环境,并且除了定时运行,各种类型之间的任务存在依赖关系,一张简单的任务依赖图如下:

任务调度

目前各业务的数据任务基本都是靠Crontab定时调度,各个任务之间的依赖仅靠简单的串行来实现。

这样做的问题:

  • 很容易造成前面的任务未结束或者失败,后面的任务也运行起来,最终跑出错误的分析结果;
  • 任务不能并发执行,增加任务执行的整体时间窗口;
  • 任务管理和维护很不方便,不好统计任务的执行时间及运行日志;
  • 缺乏及时有效的告警;

SkyNet调度监控系统,正是为了解决以上问题。

 

系统架构

任务调度

名词解释

SkyNet 任务调度监控系统的名称。
Job/任务 一个程序运行单元,比如,一个MapReduce程序、一个Shell脚本等。
业务日期 每个程序运行所处理的数据日期。
JobInstance/任务实例 一次任务运行实例,因为一个任务在同一业务日期可能会运行多次。
资源 任务运行的节点(主机)
DataHub 数据交换机,用于异构数据源时间的数据交换。
 

系统模块

  • JobManager:SkyNet的Master,提供RPC服务,接收并处理JobClient/Web提交的所有操作;与元数据通讯,维护Job元数据;负责任务的统一配置维护、触发、调度、监控
  • JobMonitor: 监控正在运行的Job状态、监控任务池、监控等待运行的Job;
  • JobWorker:SkyNet的Slave,从任务池中获取Job、负责启动并收集Job的执行状态,维护至元数据库;
  • JobClient/Web:SkyNet客户端类,前端界面提供给用户,用作任务的配置、管理、监控等;
  • 任务元数据:目前使用Mysql,保存Job的配置、依赖关系、运行历史、资源配置、告警配置等;

系统特性

  • 分布式架构:容量和负载能力(JobWorker)可线性扩充,并可以跨外网部署(只需能访问元数据库即可);
  • 高可用性:拥有主备Master,一旦主Master异常,备Master会接替主Master提供服务(后期实现);
  • 高容错性:Master重新启动后,会将之前未完成的任务重新调度运行;
  • 完善易用的Web用户界面:用于用户配置、提交、查询、监控任务及任务的依赖关系;
  • 支持任意类型的任务:除了Hadoop生态圈的MapReduce、Hive、Pig等,还支持其他任何语言开发的任务,如Java、Shell、Python、Perl、Spark等;
  • 完整的日志记录:收集并记录任务运行过程中产生的标准输出和标准错误,提供Http访问,用户可通过访问任务对应的日志Url来方便的访问任务运行日志;
  • 任务之间的灵活依赖:可将任意一个任务作为自己的父任务进行依赖触发;
  • 灵活多样的告警规则:除了失败告警,也支持任务超时未完成、任务超时未开始等告警规则;

页面展示

DashBoard:显示平台任务总体概况,资源总体概况

任务调度

 

任务查询和维护:

任务调度

 

添加任务:

任务调度

 

查看任务依赖关系及运行状态:

任务调度

 

查看任务运行状态及运行日志:

任务调度

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » 大数据平台任务调度与监控系统

喜欢 (694)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(311)个小伙伴在吐槽
  1. 这个系统开源吗
    mircle2015-05-28 10:08 回复
    • 您好,能发一份到goodbread@126.com吗,非常感谢
      bread2015-07-14 22:57 回复
    • 也能发给我一份吗?
      老四2015-08-31 10:23 回复
    • 你好 也能发一份到421798595@qq.com吗?多谢!
      dtm2015-10-10 17:57 回复
    • 你好可以麻烦发一份到635627873@qq.com吗,非常感谢!
      hongqiutiandi2015-10-20 12:52 回复
    • 博主,现在这个调度框架开源了没,我也想自己做个调度框架,能不能把设计文档发来参考下,你的很多篇博客都写得很棒哒!下面是我的邮箱 -------------------------- 492005267@qq.com
      kent2016-01-05 19:27 回复
    • 你好,,给我也发送一份吧,771645231@qq.com,在这里先感谢了
      Fly3652016-01-25 09:42 回复
    • 你好,,给我也发送一份吧,771645231@qq.com,在这里先感谢了
      Fly3652016-01-25 09:43 回复
    • 你好我想学习一下,可以给我也发一份吗。80507309@qq.com 非常感谢!
      阿我额2016-02-24 16:15 回复
    • 能发我一份吗,最近真正做大数据调度平台,谢谢了
      Jacky792016-03-09 16:19 回复
    • 你好,也能发一份到inchxword@163.com吗?多谢
      nostop2016-03-27 23:08 回复
    • 您好,最近在看分布式调度,能发一份到195573354@qq.com吗,非常感谢
      ksh2016-04-18 23:07 回复
    • 文档 感激
      c92016-04-22 18:08 回复
    • 给我发一份,求开源,求文档jiajf999@qq.com
      jiajf9992016-05-05 18:36 回复
    • 大神,可以麻烦给我一份设计文档参考吗?万分感谢大神帮助 :razz: ,我的邮箱1992678393@qq.com
      guo2016-05-08 14:40 回复
    • 你好,能否发一份到monkey.611@163.com,学习交流下,谢谢。
      Dylan2016-05-11 17:10 回复
    • 你好,设计文档能发我一份吗?jackie_vip@126.com
      木亦汐丫、2016-05-14 23:43 回复
    • 你好,设计文档能发下我的邮箱吗?yang1721@126.com
      娃娃鱼2016-05-15 00:10 回复
    • 您好,相关设计文档能发我一份吗?万分感谢! 1025195880@qq.com
      耗子2016-06-13 16:41 回复
    • 您好,最近在做大数据的作业调度系统,能发一份设计文档吗,谢谢,806992660@qq.com
      zjames2016-07-29 10:53 回复
    • 能发我一份文档吗?33498045@qq.com
      infornet2016-07-29 11:41 回复
    • 你好 请发送一份
      luyulonglujie@126.com2016-07-30 18:15 回复
    • 也能发给我一份吗?vanuan@sina.cn
      vanuan2016-08-16 15:32 回复
    • 您好,能发一份文档到277348778@qq.com么,非常感谢
      UncleMelon2016-09-29 21:01 回复
    • 您好,能发一份到16188037@qq.com吗,非常感谢
      Ken2016-10-22 12:18 回复
    • 您好,能发一份到1289010122@qq.com吗,非常感谢
      云中鸽2016-10-26 16:03 回复
    • 求一份设计文档!353484740@qq.com 谢谢楼主的劳动成果!
      jz8888882016-11-02 11:53 回复
    • 你好,我们现在正需要自己构建一个调度平台,请问能把相关设计文档发至106371931@qq.com吗,非常感谢。
      小七2016-11-26 09:25 回复
    • 能否也发一份给我,谢谢,cheneystar@163.com
      cheney2016-12-06 18:26 回复
    • 求文档一份,553209611@qq.com 多谢多谢!
      gang2016-12-20 13:34 回复
    • 您好,麻烦能发一份设计文档参考学习,邮箱407092863@qq.com,十分感谢。
      raza2016-12-30 10:53 回复
    • 您好,能发一份到3094785468@qq.com吗,非常感谢
      wushuang37232017-01-05 15:36 回复
    • oozie支持配置各种类型的作业如pig mr shell spark sqoop hive sql脚本,结合hue可以很方便的管理配置工作流,尤其是顺序性工作流,当然也可以配置有分支的工作流,但是对于多重依赖的工作流,如上面文章中截图的工作流 配置会很复杂,但对于airflow开源任务调度系统配置多重依赖的任务很容易,请教博主一个问题:sky net是你们公司自主开发的吧?为什么不用开源的?这是我的邮箱834268120@qq.com 设计文档能发我一份吗?谢谢
      虾米2017-01-15 19:07 回复
    • 你好,请把设计文档给我也发一份
      小王子2017-02-28 15:27 回复
    • 你好,能发一份设计文档给我吗。邮箱:brandom-iava@139.com
      木风2017-03-01 15:07 回复
    • 你好 可以发我一份吗 lorain0514@vip.qq.com
      Lorain2017-03-29 10:11 回复
    • 也发给我一份吧,邮箱是1548520841@qq.com
      hffzkl2017-04-06 11:07 回复
    • 博主,求一份设计文档,zgjdzwhy@qq.com,谢谢!
      evan2017-04-19 13:18 回复
      • 你好,,给我也发送一份吧,zhuren511@126.com,在这里先感谢了
        zhuren2017-04-22 16:20 回复
        • 你好 设计文档能发我一份学习下吗lzd922@163.com
          kevinlu2018-09-12 13:49 回复
    • 您好,能发一份到zhuren511@126.com吗,非常感谢!!
      zhuren2017-04-22 16:42 回复
    • 你好,这个相关设计文档能发我一份吗,我最近也要搞一个类似但项目。我邮箱329839770@qq.com 非常感谢
      玄浩2017-04-28 10:25 回复
    • xiaoweimy804@163.com ,谢谢
      xiaoweimy2017-05-08 11:05 回复
    • 你能能发一份到1442927837@qq.com嘛,非常感谢
      张烜2017-06-15 14:16 回复
    • 您好,最近在学习任务调度, 能给我发送一份文挡参考嗎,2324521227@qq.com,这里先感谢了
      Jerry2017-06-21 10:34 回复
    • 博主经常看你发的文章,这个调度的相关文档能发一份吗?谢谢,邮箱15764241350@163.com
      impala2017-07-04 17:25 回复
    • 求一份 :razz:
      深寒2017-09-05 16:05 回复
    • 求一份 :razz: 397967552@qq.com
      深寒2017-09-05 16:07 回复
    • 求一份 zgjdzwhy@163.com
      jdz2017-09-08 12:13 回复
    • 求相关文档,谢谢大神,pengpuxin1@163.com
      xin2017-10-11 07:28 回复
    • 您好,能发一份到823357930@qq.com吗,非常感谢
      liyi2017-10-24 14:01 回复
    • 你好,可以发一份到邮箱601991417@qq.com,谢了
      liuli2017-10-26 17:19 回复
    • 你好 设计文档能发我一份学习下吗 rzl1990@126.com
      rzz2017-12-14 17:01 回复
    • 你好 设计文档能发我一份学习下吗 jun-life@163.com
      lyes2017-12-22 10:56 回复
    • 你好 也能发一份到42254063@qq.com吗?多谢!
      瓜牛2017-12-26 15:10 回复
    • 能发我一份吗?非常感谢
      12342020-02-23 15:29 回复
  2. 挺不错的,最好能开源做大做强
    笑熬浆糊2015-06-02 23:09 回复
  3. 请问你们的系统如果对JobWorker的负载进行评估的。每台机器同时 可以执行的 不同任务类型的任务数是如何计算的 :oops:
    王欢_阿布2015-06-03 14:09 回复
    • 每天机器上,每种任务类型的任务最大可以运行多少个? 目前是随便拍的。。 这个还没做到细到CPU和内存粒度的资源控制与分配。
      lxw1234@qq.com2015-06-03 14:13 回复
      • 你好,能发份你们的设计文档给我学习下么
        long2015-06-05 10:34 回复
  4. 你好,能发份你们的设计文档给我学习下么
    long2015-06-05 10:34 回复
    • 你好,可以发文档到podlzh@gmail.com吗?
      podlzh2015-06-09 11:54 回复
      • 你好,可以发文档到iamleejm@163.com吗?
        fzljm2015-06-15 08:36 回复
      • 你好,可以发送一份设计文档到jlbhdfsl@126.com吗,想参考一下,谢谢
        fsl2015-06-23 11:18 回复
    • 您好,能发一份到crasshopper@163.com 吗,非常感谢
      小雨2015-07-14 14:51 回复
    • 大数据平台任务调度与监控系统 的文档能否发一份参考
      疯雪2016-07-18 10:11 回复
    • 可以发我一份吗,谢谢 330451615@qq.com
      dddddddddd2017-02-04 16:53 回复
  5. 我也有个类似到系统,工作流分布式调度服务器作业。 一起交流下。我的项目已经开源了。
    liangqilang2015-06-16 19:21 回复
    • Hi,你可以通过右上角"联系QQ"找到我。
      lxw1234@qq.com2015-06-17 09:26 回复
    • 543459837@qq.com 开源的网址有么 可以看下么
      王欢_阿布2015-06-23 17:41 回复
    • 开源地址是?
      ynlxc2015-06-29 16:42 回复
    • 开源地址是多少
      long2015-06-29 17:14 回复
    • 请问开源网址是多少啊!
      风花雪月2015-07-31 10:28 回复
      • https://github.com/ltsopensource/light-task-scheduler 看看这个吧,或许有帮助
        随机变量2016-06-01 10:31 回复
        • 这个目前缺少了一个很重要的任务依赖触发的调度方式,看他的开发计划中已经有了。关注中。。。
          lxw1234@qq.com2016-06-01 11:41 回复
          • 有的同学能转发一份吗 112405999@qq.com 万分感谢
            ray2016-08-16 14:05
    • 开源的地址是多少
      郭锐2018-08-29 12:50 回复
  6. 能否把设计文档发一份给我分析下。谢谢yangyao86@126.com
    风花雪月2015-07-30 17:08 回复
  7. 您好,可以发一份设计文档给我吗,zxd.8812@gmail.com
    Ario2015-08-22 14:39 回复
  8. 您好,能发一份设计文档到faychu@qq.com吗
    faychu2015-08-25 16:06 回复
  9. 你好,我刚好现在也做类似这方面的工作,能把设计文档给我参考一下吗?谢谢!我的邮箱:wyz480@126.com
    流沙2015-08-26 14:54 回复
  10. 求一份设计文档, 万分感谢! henry_zhou007@163.com
    hz2015-08-28 11:34 回复
  11. 能发一份文档给我学习学习吗,谢谢!volkwit@gmail.com
    随机变量2015-09-09 17:11 回复
  12. 请发一份文档学习,十分谢谢!ddsw0411@sina.com
    ddsw04112015-09-10 12:43 回复
  13. 设计请发我邮箱一份,谢谢! 地址:qiucheng@jinchongzi.com
    markqiu2015-09-11 09:00 回复
  14. 你好,可以发文档到xiangel1@126.com吗?
    xiangel2015-09-22 18:14 回复
  15. 您好,可以发一份设计文档给我吗,191432544@qq.com
    duanxx2015-10-12 16:28 回复
    • 你好,烦请发送一份详细的设计文档,1017220573@qq.com
      logant2015-10-14 10:09 回复
  16. 您好,看了您的文章启发很大,我有个疑问:当作业到达系统时,是由SkyNet按照某种调度策略直接提交给计算平台(Hadoop MR/ Spark)吗?这个与Apache Oozie 的最大区别是什么?能把设计文档发我一份(hapjin@qq.com)参考一下吗?打扰了,谢谢。
    john2015-10-14 15:09 回复
  17. 你好!看了文章后,觉得很好,请问能发一份设计文档供我详细学习下吗?谢谢!邮箱:pannpei@gmail.com
    crAzyli0n2015-10-17 14:54 回复
  18. 很赞,坐等开源,求文档 smarthub@126.com
    smarthub2015-10-18 10:02 回复
  19. 谢谢分享,真心希望开源,一个人的力量有限。麻烦把设计文档发一份给我,xts911950393@qq.com,谢谢
    fantasy2015-10-18 11:29 回复
  20. Hi,请帮忙发设计文档到我的邮箱dulingqiang@gmail.com,非常感谢!
    Dilly2015-10-20 08:48 回复
  21. 196047728@qq.com 麻烦发一份学习参考下,谢谢!
    brujah2015-10-20 17:24 回复
  22. 关于数据源信息加密处理。 在 java 任务中的使用, 你们是怎么实现的。 如果可以,可以发一份相关的设计文档给我么 谢谢 543459837@qq.com
    王欢_阿布2015-10-21 09:16 回复
  23. 这个工具我们可以免费使用吗?
    yinsong1986112015-10-21 10:54 回复
  24. 您好,可以发一份设计文档给我吗,602807278@qq.com,谢谢
    lucifer2015-10-25 16:34 回复
  25. 您好,能发一份设计文档到labchy@163.com吗
    labchy2015-10-26 15:12 回复
  26. 你好!能否方便发送设计文档到我的邮箱xzh0xzh@sina.com,谢谢(^_^)
    xzh0xzh@sina.com2015-10-26 18:52 回复
  27. 您好,设计文档能发一份到jia39554@126.com么,拜谢!
    飞鱼2015-10-26 20:02 回复
  28. 你好,麻烦发下相关设计文档,目前在做日志接入,下一步也想做下调度方面,txswjhd@163.com,谢谢。
    Neil2015-11-19 15:48 回复
  29. 您好,还能发一份设计文档吗,非常感谢!tzp_Bingo@foxmail.com
    tzpBingo2015-11-24 08:41 回复
  30. 同求设计,非常感谢 no3ice@163.om
    老猪2015-11-24 11:14 回复
  31. 开源吧...先给一份文档学习下了。谢谢
    lordk2015-11-27 14:49 回复
  32. 求文档。mail4kevin@163.com
    lordk2015-11-27 14:49 回复
  33. 可以发到syphniushaohan@126.com一份设计文档吗?多谢
    syphniushaohan2015-11-28 15:41 回复
  34. 非常好,请发我一份,谢谢,xj1998@21cn.com
    xj19982015-12-03 00:05 回复
  35. HI ,邮箱为:hhy_87@126.com ,帮忙发一份学习学习,谢谢!
    hy2015-12-03 17:04 回复
    • 您好,麻烦发下相关设计文档,非常感谢!shloging@163.com
      qwe2015-12-04 16:30 回复
  36. 赞!!!同求设计文档,邮箱为:qichaotang97@gmail.com,万分感谢
    tang2015-12-06 21:00 回复
  37. 和我们现在的调度系统很像,只是你的设计很合理,很系统化,不错,我们也参考参考,大神
    herobaocai2015-12-08 14:41 回复
  38. 您好,能给我份设计文档吗?感谢您的分享。邮箱是dliming@126.com
    发呆的感觉2015-12-10 09:28 回复
  39. 您好,我想参考下您的系统设计,主要是参考任务依赖逻辑的处理,nfc_internal@sina.com谢谢您的回复
    nfc2015-12-11 23:52 回复
  40. 能给我发份吗378879284@qq.com,谢谢
    aaron2015-12-16 16:08 回复
  41. 这个能发到我邮箱吗? 非常感谢。 ! 342467823@qq.com
    an3424678232015-12-17 16:07 回复
  42. 你好,能发份你们的设计文档给我学习下么,rucky2013@163.com
    jevno2015-12-27 03:45 回复
  43. 你好,可以分享一下设计文档吗,datadengcy@gmail.com 非常感谢
    datadeng2015-12-28 00:56 回复
  44. 您好,能发一份到331438930@qq.com吗,非常感谢!
    suinlove2015-12-28 10:27 回复
  45. 希望发一份设计文档到我的邮箱 zhifeiyu2008@qq.com :mrgreen:
    纸飞鱼2016-01-01 23:24 回复
    • 你好,最近一直在为调度系统设计而烦恼,麻烦请发一份设计文档到邮箱(1609424788@qq.com),非常感谢!!! 请教一个问题:像storm、spark等任务都有自己的状态信息(如停止、运行还是异常等状态),这些状态信息如何去获取和实时更新。谢谢!
      2017-05-25 15:08 回复
  46. 您好,能发一份到massinger@126.com吗,非常感谢
    massinger2016-01-04 15:50 回复
  47. 能发一份设计文档到gaoguanguo_1234@126.com吗?
    天空2016-01-04 15:54 回复
  48. 你好,能发下设计文档学习下吗?1031757312@qq.com
    Jerry2016-01-06 18:41 回复
  49. 你好,可以发给我一份完整的设计文档到1527430@qq.com吗?有开源计划吗?我正需要这个,多谢。
    15274302016-01-07 19:02 回复
  50. 你好,能发份设计文档到yyuu001@126.com吗?万分感谢!!
    yyuu2016-01-13 10:20 回复
  51. 比我部门在用的调度系统强多啊,求文档一份 maybe618@163.com
    maybe6182016-01-16 20:38 回复
  52. 楼主好,麻烦也帮发一份相关的设计文档,谢谢。邮箱 529564995@qq.com
    jasonchen2016-01-20 14:34 回复
  53. 博主,可以把相关设计文档发给我参考一下吗? oconnorendure@gmail.com 非常感谢额,正在为这个头疼呢
    oconnor2016-01-26 14:25 回复
  54. 麻烦楼主发一下设计文档吧,多谢。 邮箱地址:zhanmsl@126.com
    zhanmsl2016-01-27 17:42 回复
  55. 能发一份吗 谢谢
    neilyooloil2016-02-02 15:19 回复
  56. 麻烦给一份调度系统的详细设计文档参考下,多谢,邮箱地址:zhaowanli@126.com
    ali2016-02-17 09:37 回复
  57. 你好,能发一份设计文档给我吗 xvm03@163.com,谢谢了
    xvm032016-02-17 19:09 回复
  58. 您好,能发一份到58555264@qq.com吗?谢谢。
    585552642016-02-22 12:41 回复
    • 有的同学,帮转一份给我,万分感谢。532449059@qq.com
      生生2016-02-29 15:04 回复
  59. 您好,能发一份到1524391974@qq.com吗?谢谢
    mini2016-03-02 14:15 回复
  60. 你好 可以发我一份文档吗553634527@qq.com
    sky2016-03-09 01:40 回复
  61. 您好,请发一份设计文档,谢谢~邮箱271617449@qq.com
    子龙2016-03-09 11:49 回复
  62. 楼主,您好,我最近也在做一个分布式调度系统,能否把您的设计文档发我一份做参考?谢谢。
    流水殇2016-03-10 11:56 回复
  63. 你好 可以发我一份文档吗2282899566@qq.com 十分感谢!
    水镜2016-03-10 16:03 回复
  64. 求一份你设计文档 另外顺便问一句 依赖淘宝的zeus系统么 wzhangwork@163.com
    fred2016-03-14 22:11 回复
    • 不依赖。
      lxw1234@qq.com2016-03-16 11:13 回复
      • 您好,能发一份到258452140@qq.com吗,非常感谢
        Lxuan2016-04-07 15:27 回复
  65. 您好,能发一份到562006491@qq.com吗,非常感谢
    吴志清2016-03-22 16:22 回复
  66. 你好,楼主,求文档。
    追寻2016-03-27 13:34 回复
  67. 你好,看了介绍后,觉得是个很好的东西,最近也在开始大数据平台方面的东西,能将设计文档发一份给我吗,谢谢了哈, inchxword@163.com
    nostop2016-03-27 23:07 回复
  68. 看了你的文章,非常不错,如果方便,设计文档发给我参考下,不胜感激。584330312@qq.com
    草原2016-04-05 14:18 回复
  69. 你好,能不能把 设计文档发到我邮箱中啊。 gaoxianwei@126.com
    cumtheima2016-04-06 15:49 回复
  70. 看了你的文章,写的非常好,正是我们需要的东西,麻烦能发我一份,393796506@qq.com
    流云2016-04-07 11:55 回复
  71. 你好,发我一份文档吧,谢谢, liuminyt@163.com
    小黑2016-04-07 18:57 回复
    • 能发一份这个工具的代码给我吗?想用用..yale_yiu@163.com
      yale2016-04-08 16:20 回复
  72. 看UI感觉很像在azkaban上修改的
    fabi2016-04-08 15:11 回复
    • 和azkaban没关系,使用bootstrap纯手工打造。
      lxw1234@qq.com2016-04-08 16:21 回复
  73. 能否提供该产品的设计资料,有源码最好了,多谢。我的邮箱442560611@qq.com
    2016-04-14 01:28 回复
  74. 请问该产品的 任务状态变化(生命周期管理),你是基于hadoop yarn的状态机来做的吗?
    2016-04-14 01:31 回复
  75. 你好,求设计文档195573354@qq.com 最近在设计调度,想参考下。谢谢
    Ksh2016-04-15 23:23 回复
  76. 您好,能否给一份相关的设计文档参考下,谢谢。jianchidaodi-2004@163.com
    bingfeng20042016-04-17 13:25 回复
  77. 你好,设计文档能发给一份参照吗?邮箱812769634@qq.com,先谢谢了?
    叶子2016-04-22 12:38 回复
  78. 博主能否发一份设计文档,非常感谢157038003@qq.com
    斗鱼2016-04-22 13:35 回复
  79. 那个任务依赖图是什么做的?
    ddsw04112016-04-22 21:03 回复
  80. 楼主你好,求文档。1505551485@qq.com
    zhuixun2016-05-03 19:54 回复
  81. 你好可以麻烦发一份到858661426@qq.com吗,非常感谢!
    Jack2016-05-04 16:52 回复
  82. 求一份设计文档 254857436@qq.com
    meng2016-05-04 17:13 回复
  83. 你好,设计文档能发我一份吗?enli2222@sina.com
    enli2016-05-06 18:01 回复
  84. 你好看了您的设计非常不错能发一份设计文档到1422507937@qq.com吗?谢谢
    Jerry2016-05-07 17:18 回复
  85. 文哥,好: 小弟正在学习大数据相关知识,看了您的《大数据平台任务调度与监控系统》,非常值得学习,希望您能将该系统相关的设计文档发给小弟我学习,感激不尽! huangbojude@163.com
    追梦小蜗牛2016-05-19 22:14 回复
  86. 你好!能发一份到aguess@yeah.net 吗,非常感谢!
    a guess2016-05-20 16:26 回复
  87. 请 有这个系统的设计文档的朋友发一份我吧,不胜感激! 360934321@qq.com
    jjyy7788992016-05-23 10:04 回复
  88. 您好,可以把相关的设计文档发给我一份吗,谢谢。 895179504@qq.com
    卡哇伊2016-05-25 14:51 回复
  89. 大神,请收下我的膝盖,给我来一份文档吧~~ 多谢啦
    hibeauty2016-06-12 13:32 回复
  90. 您好,能发一份到lzy2107@sina.com吗,非常感谢
    扬帆2016-06-13 14:40 回复
  91. 你好,能发一份到我的邮箱986325764@qq.com吗,非常谢谢
    小K2016-06-13 16:16 回复
  92. 你好,大神啊 最近在做大数据开发,看到你的 顿时眼前一亮,希望能给份参考 dengwenjia2010@qq.com ,非常非常感谢!
    wendy2016-06-14 10:35 回复
  93. 你好!可以麻烦发一份到295983632@qq.com吗,非常感谢!
    鸭子2016-06-16 12:07 回复
  94. 您好,能发一份到418590380@qq.com吗,非常感谢
    星空守望者2016-06-23 16:51 回复
  95. 您好,能发一份到hlzhu1983@qq.com吗,非常感谢
    hlzhu19832016-06-25 00:02 回复
  96. 1473242025@qq.com :mrgreen: :oops: 谢谢
    1473242025@qq.com2016-06-29 16:57 回复
  97. 能发一份么? whw15920155302@163.com 非常感谢。
    21克2016-07-06 15:39 回复
  98. 你好,方便的时候可以发份文档么?2524941005@qq.com万分感谢!O(∩_∩)O~
    web0072016-07-07 11:40 回复
    • 楼主,方便的时候也能发一份嘛? dmlgt123@163.com,非常感谢!!
      sanying2016-07-07 18:19 回复
  99. 你好,大神,设计文档能发一份到我邮箱吗?LYJ_216@126.com,非常感谢
    Mark2016-07-07 21:16 回复
  100. 楼主,我最近也在关注任务管理方面的内容,能麻烦也发一份文档给我吗?谢谢 jyg_jacky@163.com
    Gary2016-07-12 22:35 回复
  101. 博主,您好,能发一份设计文档学习学习吗,谢谢。291153587@qq.com
    tjhuyang2016-07-13 14:43 回复
  102. 您好,可以发一份设计文档给我吗,stark_summer@qq.com,谢谢
    stark_summer2016-07-13 20:41 回复
  103. 你好, 最近也在做任务调试的设计, 能否参考一下你的设计文档? vozon@163.com 谢谢
    vozon2016-07-14 20:28 回复
  104. 正在做这个系统,感谢楼主文档参考:niexxf@163.com
    疯雪2016-07-18 10:10 回复
  105. 您好,可以发一份设计文档给我吗,it_365@sina.com ,谢谢
    王小可2016-07-18 18:26 回复
  106. 您好,能发一份到zhonghe.home@163.com吗,非常感谢
    MasterLiu2016-07-18 20:48 回复
  107. 这个系统发一份scxuying998@sina.com 吗,谢谢!
    codingMan2016-07-20 14:32 回复
  108. 求文档 85670298@qq.com
    xiaoxin2016-07-26 11:02 回复
  109. 同求设计文档~ beibei86@gmail.com 多谢
    beibei2016-07-26 12:08 回复
  110. 1045731196@qq.com ,非常感谢
    Max2016-07-27 09:21 回复
  111. 楼主,请发份文档33498045@qq.com,谢谢!
    infornet2016-07-29 11:42 回复
  112. 你好,求设计文档grass13145210@163.com
    但丁2016-08-02 12:55 回复
  113. @楼主 您好,能发一份到82677511@qq.com吗,非常感谢
    moonights2016-08-03 13:26 回复
  114. 设计文档麻烦也发我一份吧,1256085199@qq.com
    nicee2016-08-03 16:05 回复
  115. 请发我一份,非常感谢。974825724@qq.com
    飘飞2016-08-04 14:51 回复
  116. 盼望开源啊~。。。。。
    moonights2016-08-09 18:20 回复
  117. 您好,目前也有一个分布式调度的需求,能发一份设计文档吗~ luokaiyao2012@gmail.com 多谢
    wunianSky2016-08-09 21:47 回复
  118. 亲,能发我一份嘛~~~18243172920@163.com ,谢谢
    Yana2016-08-10 17:52 回复
  119. 您好,能把相关文档也发我一份吗。
    太阳花2016-08-15 12:43 回复
  120. 很赞,坐等开源,求楼主文档! lyafeng1227@foxmail.com :mrgreen:
    leihen2016-08-15 21:00 回复
  121. 你好,能发我份吗?
    2016-08-19 18:30 回复
  122. 您好,能把相关文档也发我一份吗。zgjdzwhy@qq.com
    jack2016-08-26 09:59 回复
  123. 你好,请问下能麻烦你把这个系统的设计文档 发到我邮箱 cgl1079743846@gmail.com 吗? 谢谢!
    陈国林2016-08-29 23:50 回复
  124. 博主辛苦,非常好的实践,能否发份设计文档学习下,谢谢
    madff2016-09-01 09:45 回复
  125. 博主辛苦,非常好的实践,能否发份设计文档学习下,谢谢,邮箱1285545321@qq.com
    madff2016-09-01 09:47 回复
  126. 楼主好,求一份设计文档啊,谢谢~ 邮箱 : wxb_nj@126.com
    eleven2016-09-05 11:49 回复
  127. 求楼主发一份到1029576242@qq.com,万分感谢
    wing2016-09-06 11:35 回复
  128. 谢谢楼主,我正在做数据监控这方面的工作,可以多多交流,20112480132yang@sina.com
    ityouing2016-09-21 10:28 回复
  129. 最近也写了一个简单的任务系统 .net 版本的 您这个能发一份设计文档参考一下,感谢 95678953@qq.com
    mars2016-09-23 15:01 回复
  130. 大神。设计稿能发我一份吗?邮箱:weixiaohui@souche.com 谢了~~~
    danier2016-09-28 10:27 回复
  131. 求设计文档。另外这个是工作流引擎么?任务的依赖是实例间的依赖么?
    gabry2016-10-09 16:08 回复
  132. 您好,可以发一份文档看看吗?另外请问这个框架的依赖触发用的什么实现?oozie?
    sunny37912016-11-04 16:39 回复
  133. 文章蛮不错。我最近设计的分布式调度与你的功能差不多,而且比你的这些功能还多些。具有分布式、高可用的特性。支持workflow流程定义,任务依赖,血缘关系分析,强制成功,空跑,断点续跑等
    jxauwxj2016-11-07 12:00 回复
  134. 也请发一份设计文档到我邮箱,谢谢
    乐百事2016-11-17 21:14 回复
  135. 你好,能不能把设计文档发一份到我的邮箱?xieshaoguangwww@126.com
    magic2016-11-22 11:03 回复
  136. 最近正好在寻找一个好用的调度系统,Oozie学习成本不低没有用起来,楼主这个设计的不错哦, 能否分享一下,我的邮箱:elkan2011@foxmail.com,谢谢。
    凡梦星尘2016-12-07 09:20 回复
  137. 你好,这个挺好的,项目可以在git上看到吗?没有的话,希望发一些资料学习一下,谢谢了。 wotte@126.com
    wotte2016-12-08 13:41 回复
  138. 514793425@qq.com 谢谢
    IceMimosa2016-12-12 15:52 回复
  139. 膜拜楼主。792807401@qq.com,求设计文档学习一下
    VastVanity2016-12-12 17:01 回复
  140. 你好,能否发一份到85573879@qq.com,学习交流下,谢谢
    datafans2016-12-12 21:09 回复
  141. 看了你的文章,非常不错,如果方便,设计文档发给我参考下。caozhenhua@parllay.cn
    richard2016-12-14 16:48 回复
  142. 你好!请发一份相关的设计文档给我,看看能不能进行商业合作。邮箱:flw-4@163.com
    学习奋斗2016-12-14 20:34 回复
  143. 给我也来一份设计文档呗,学习一下,我自己也设计实现了一个调度系统,但是是单机的,多谢。邮箱:i_sin4@qq.com
    i_sin2016-12-16 14:14 回复
  144. 求一份设计文档或者代码,万谢。287352412@qq.com,谢谢。
    小五2016-12-26 18:15 回复
  145. 请发一份相关的设计文档!非常感谢
    踏雪无痕2016-12-30 08:54 回复
  146. 282208681@qq.com,谢谢
    ozil2017-01-04 19:14 回复
  147. 744362790@qq.com 您好,能发一份到我邮箱吗,学习下。
    snowlucky2017-01-18 23:13 回复
  148. 你好, 发我一份吧,wenzhui5@163.com
    web52017-02-07 17:37 回复
  149. 感谢
    web52017-02-07 17:38 回复
  150. 你好,看了文章,感觉这个系统很实用,这个开源了吗?希望获得一份设计文档,1216123364@qq.com,十分感谢
    juejue2017-02-08 11:27 回复
  151. 设计文档和代码有共享路径么?
    v.v2017-02-13 11:49 回复
  152. 您好,设计文档能发我一份吗? 1182779690@qq.com
    whyoyyx2017-02-13 16:07 回复
  153. 请大神也发我一份,763653725@qq.com
    叫我毛毛狗2017-02-16 19:54 回复
  154. 您好,能发一份设计文档吗?多谢了
    hairtail2017-03-03 20:03 回复
  155. 你好, 我也想学习一下, 方便也发我一份吗? jszhouchong@163.com
    jsnorman2017-03-06 14:27 回复
  156. 您好,能发一份到619881347@qq.com吗,非常感谢
    lqs30802017-03-08 22:52 回复
  157. 博主,求分享一份SkyNet的设计文档 553785295@qq.com
    JackHe2017-03-17 17:36 回复
  158. 博主,求一份设计文档,136195624@qq.com,谢谢!
    过河卒子Rover2017-03-20 15:12 回复
  159. 最近在开发数据仓库调度系统,设计文档可以发我一份吗?673620015@qq.com
    enjoyment2017-04-08 10:27 回复
  160. 正在开发调度系统,麻烦博主发份设计文档 邮箱 :mathow1985_public@163.com,非常感谢!
    pupl2017-04-14 17:36 回复
  161. 打算开发调度系统,能发份你们的设计文档给我学习下么 34819208@qq.com
    robert2017-04-25 13:59 回复
  162. 楼主,最近我也在做大数据调度平台,能麻烦发我一份文档参考下设计,邮箱:t@itboy.net,不胜感激。
    way2017-04-27 11:46 回复
  163. 博主,在吗。可以把你们这个调度和监控系统的设计文档发我一份吗?
    levxing2017-04-27 13:52 回复
  164. 想要看下你的设计文档,能发给我邮箱一份吗?万分感谢,邮箱为:1755124332@qq.com
    levxing2017-04-27 13:55 回复
    • 博主,在吗。最近打做一个分布试的任务调度平台,可以把你们这个调度和监控系统的设计文档发我一份吗?yandong3389@gmail.com,不胜感激!
      yand2017-05-03 11:36 回复
  165. 赞!请问能发一份设计文档供我详细学习下吗?谢谢!
    mark2017-05-16 12:01 回复
  166. 你好,能否发一下你的设计文档学习一下?多谢!
    HI_DATA2017-05-22 10:46 回复
  167. 想深入了解学习下 这个分布式调度系统,可以发一份 文档 iworkdream@126.com , 感谢 ~ 感谢 ~
    一天2017-05-24 13:21 回复
  168. 博主,很喜欢你写的博客,对我帮助挺大,可以发一份文档到zhdp1201@gmail.com吗?非常感谢!
    perry2017-06-01 08:59 回复
  169. 可以发一份设计文档给我吗 6576920@qq.com
    lizhengfa2017-06-03 23:33 回复
  170. 考虑非常周全,能否将设计文档发到1719038657@qq.com供参考下
    wind2017-06-08 19:24 回复
  171. 能把相关的设计文档发我一份吗?谢谢! 373008218@qq.com
    小李飞菜刀2017-06-12 11:18 回复
  172. 博主,很喜欢你写的博客,对我帮助挺大,可以发一份文档到waitingline@163.com吗?非常感谢!
    waitingline2017-06-19 17:01 回复
  173. kybhflyer@163.com,大神,能够发一份设计文档给我,多谢了,最近要做一个这样的项目,苦于没有参考,看见你们开发的系统,非常感兴趣,thank you! :smile:
    追梦小俊2017-06-27 15:48 回复
  174. 麻烦作者也给我发一份(wgyx2000@163.com),非常感谢!
    六类接触2017-07-05 15:27 回复
  175. 大神,最近在做相关设计,可否发一份设计文档参考,谢谢,972635462@qq.com
    brock2017-07-09 10:30 回复
  176. 您好,能发一份设计文档吗,谢谢,zfylin2014@163.com
    zfylin2017-07-17 11:57 回复
  177. 您好,能发一份参考下吗?非常感谢 chaigui@126.com
    yizhihu2017-07-24 11:21 回复
  178. 您好,可以将这份设计文档,发给我一份吗?最近我们也要做调度系统,想参考一下。谢谢!yixing1337@qq.com
    老新2017-07-27 11:24 回复
  179. 你好,这个设计文档还能给我发一份吗,邮箱:515125229@qq.com,非常感谢
    阿亮2017-08-02 11:31 回复
  180. 您好,可以麻烦发一份到546199695@qq.com吗,非常感谢!
    木亦汐丫2017-08-07 10:13 回复
    • 可以发一份给我吗?非常感谢 lwtiaoji@163.com
      lwtiaoji2017-08-14 22:48 回复
  181. 您好,能发一份相关的设计文档到624195698@qq.com吗,非常感谢
    lvtt2017-08-22 13:50 回复
  182. 博主能否发我一份啊,我最近也想做类似的系统,万分感谢!!!605267954@qq.com
    沙漠水族2017-08-23 16:11 回复
  183. 求一份设计文档 19878334 * QQmail
    wei2017-09-17 23:33 回复
  184. 您好,能发一份到398035376@qq.com吗,非常感谢!
    Hou2017-09-19 17:24 回复
  185. 你好 也能发一份到gamelifedong@gmail.com吗?多谢!
    ElonLo2017-09-21 10:00 回复
  186. 博士你好:能发一份此调度系统的设计文档到yangxiong_zd@163.com,,不甚感谢
    yangxion2017-10-10 09:31 回复
  187. 您好,博主。麻烦给一份设计文档参考founder517518@163.com 谢谢了
    founder2017-10-10 14:19 回复
  188. 老板,求设计文档,邮箱15821861795@139.com,非常感谢。
    豫东南抗日根据地2017-10-18 14:08 回复
  189. 好棒好棒,楼主能发一份设计文档到1075270379@qq.com邮箱吗?想了解一下这个东东(非常感谢)
    凉凉2017-10-18 16:11 回复
  190. 你好,也能发一份到37482179@qq.com吗?多谢
    yuking2017-10-19 23:27 回复
  191. 能否把设计文档发一份给我分析下。谢谢dancefires@163.com
    小王2017-10-30 10:55 回复
  192. 您好,能发一份到 yk3208724@gmail.com ,非常感谢
    corsica2017-11-20 15:23 回复
  193. 你好,能发一份设计文档到 work4dong@163.com 么,谢谢大神了!
    dandy2017-12-06 11:19 回复
  194. 调度任务能发我一份吗? 十分感谢
    were2017-12-11 15:55 回复
  195. 您好 给我也发送一份吧,862366301@qq.com,在这里先感谢了 !
    Whalen2017-12-12 15:37 回复
    • 您好 给我也发送一份吧,505159644@qq.com,在这里先感谢了 !
      王胡子2017-12-15 15:46 回复
  196. 您好,能给我发一份吗?谢谢 邮箱:hhi699@163.com
    hack2017-12-20 11:42 回复
  197. 你好,能发一份到feng097013@163.com吗?非常感谢!
    feng2017-12-21 16:18 回复
  198. 大神,能发我一份吗,1255107621@qq.com ,谢谢!
    jungle2018-01-04 11:32 回复
  199. 您好,能发一份到1044520109@qq.com吗,非常感谢
    kevin2018-01-09 10:34 回复
  200. 发一份给我吧
    坚持2018-01-10 16:12 回复
  201. 发我一份设计文档吧。谢谢。 421472659@qq.com
    传说2018-01-12 08:40 回复
  202. 麻烦发我一份学习一下,谢谢!casel.chen@icloud.com
    Casel Chen2018-01-12 13:26 回复
  203. 您好,可以发我一份么,谢谢。zhaolinyu@allinmd.cn
    大宇2018-01-16 10:34 回复
  204. 你好,给我发一份详细设计mopewolf@tom.com
    飞鸿雪浪2018-01-19 10:18 回复
  205. 大神,可以发一份设计文档到820679606@qq.com吗,谢谢了
    cjsyr2018-01-23 14:35 回复
  206. xuxiang_hit@qq.com发一下,谢谢
    xuxiang_hit2018-01-23 18:38 回复
  207. 你好,给我也发送一份吧! 1219491359@qq.com 十分感谢
    sugar2018-02-06 11:32 回复
  208. 您好,大神,能否发我一份?jiyefa@163.com 谢谢您啦!
    jiyefa2018-05-06 14:05 回复
  209. 你好,给我发一份,有酬谢
    南后主2018-05-17 17:31 回复
  210. 你好,请问该平台开源吗?挺不错的,也想开发一个
    小小默2018-06-13 17:47 回复
  211. 大神,可以麻烦给我一份设计文档参考吗?万分感谢大神帮助;邮箱 792423576@qq.com
    792423576@qq.com2018-06-26 17:39 回复
  212. 你好,麻烦发给我一份443663164@qq.com
    泡泡2018-07-09 15:11 回复
  213. 求一份开源代码,十分感谢 ,邮箱:software_by@163.com
    ybai2018-11-19 13:07 回复
  214. 您好,能发一份到catterfeld.zhu@dbappsecurity.com.cn吗,非常感谢!
    陌君2019-03-15 19:56 回复
  215. 组件也在开发这个,是开源的吗?能否提供点参考文档呢? 372965883@qq.com
    Jred2019-04-20 18:16 回复
  216. 有代码吗? 能给我一份吗? liqun.w054@shulidata.com
    2019-05-06 14:29 回复
  217. 你好,这个开源吗,可以给我发一份吗?谢谢 harrymore@126.com
    嘿嘿2019-06-18 19:32 回复
    • 你好,这个开源吗,可以给我发一份吗?谢谢 402482047@qq.com
      simfo2019-08-05 11:13 回复
  218. 博主能否发一份资料给我呢,感谢 wzylzjtn@163.com
    不良帅2019-08-13 09:04 回复
  219. 这个系统开源吗
    小不点2019-11-08 11:27 回复
  220. 麻烦给我发一份,谢谢liuhaoxi@tansun.com.cn
    liuhaoxi@tansun.com.cn2019-11-21 22:56 回复
  221. 您好,能发我一份吗,谢谢~; 邮箱:15369967109@163.com
    往事如烟2020-01-10 14:58 回复
  222. 您好,能发一份到421256401@qq.com吗?非常感谢!
    mr.S2020-01-14 17:25 回复
  223. 您好,这发一份到邮箱526457814@qq.com吗
    orangelinzc2021-03-03 09:27 回复
    • 您好,这发一份到邮箱1845107382@qq.com吗
      ikunglin2021-09-13 14:39 回复
  224. 能发一分文档和源码吗
    春风十里2021-12-28 09:54 回复