设为首页收藏本站
开启辅助访问 切换到宽版

科学网

 找回密码
  注册
科学网 › 标签 › 云计算 › 相关日志

tag 标签: 云计算

相关日志

从架构看大数据和云计算的关系
热度 2 Babituo 2015-1-31 12:43
从架构看大数据和云计算的关系 当说到大数据和云计算，乃至超级计算的关系时，很多专家都给出类似的科普级的观点：大数据是大菜，云计算是大锅，炒大菜当然要用大锅，有大锅当然能炒大菜。 比如，当我质疑新闻稿中说“天河一号”用于了大数据处理的说法时，闵应骅前辈给出了如下科普级的解释：大数据需要高速度的计算机。这个解释当然有道理，却还是解答不了我的疑问。我的疑问实际是：巨型机“天河一号”在架构上是如何支持大数据的计算的？它有支持巨型机实施大数据计算的架构么？ 为什么会有此疑问？因为炒大菜的充分必要条件，不仅仅是有足够的地方存放足够多的食材，和有足够多的锅（云计算）或足够大的锅（巨型机）这两项条件，容易被忽视的是：如何才能够将这足够多的食材，怎么放到锅里去抄的问题。这，就是一个架构的问题。 直接形象一点吧，假设我们要做的事是：一次性炒一份让全北京市的人一顿吃的一道大白菜，假设大约需要1000吨的白菜吧。和我们平时家里吃一餐的几颗小白菜相比，算是大数据了（不很贴切，要贴切是可以的，但太罗嗦，“砖家”不要急着拍砖）。好，这么多的菜需要一锅炒出来，得需要一口多大的锅（巨型机）啊？或需要多少口不小的锅（云主机）同时炒啊？ 好，假设我们要为此建一个超级大厨房（云计算中心），需要在20分钟内完成炒菜装盘送到餐桌前的过程，否则，菜就凉了，要不然，全北京市的人排队吃这“一顿午饭菜”，可能要持续进行一个月的时间。 咋办呢？这厨房得建成啥样的呢？怎么运作呢 让我来设计一下吧： 我们不能从农民的地里把这1000吨大白菜(大数据)用大卡车运来直接倒进锅里煮吧？ 所以，我设计了1万个足球场大小的备料场。是这么分组的：100个操场负责卸菜，然后派发到每个卸菜场负责把卸下的菜，分发到100个操场上去进行挑拣，清洗和切细。嗯，知道吧，这就是一个负责大数据处理的集群。因为这些处理要在5分钟内完成，所以，必须是1万个备料场同时进行，分散并行处理，这就是所谓的Map。 切好的菜需要在炒之前地先运到灶台上去吧？所以，100条传送带把切好的菜料汇聚到一条超宽的传送带上，再由这条超宽的传送带送往灶台。这就是Reduce了，我们的传送带（网络）有足够的带宽，把这些菜料3分钟运到灶台是没问题的。 假设1口大锅（主机）一次3分钟大约可炒熟300公斤的洗好，切好的大白菜，假设有10分钟的时间来炒菜，那么，一口锅最多炒3轮，也就是900公斤，我们需要1000口这样的锅。实际上是不是这样也没关系，反正就是1000个下料口，1000个出菜口，里面到底是多少口什么锅无所谓，可能是3000口100公斤的大锅；也许是30口10吨大锅。经过“虚拟化”，从外面看上去就是1000口300公斤大锅了。每口大锅不会同步开炒，同步完成，炒的菜会给谁吃，也说不准。反正，尽量给这个炒完，可能歇会，再给下一个炒。如果吃菜的人不动，是给人炒菜的锅移动到吃菜的人跟前来炒，那么，看上去就是炒菜锅象天上的云一样在流动。流动到哪，就给那的人炒菜。所以，叫“云炒菜”，不是忽悠人的，而是为了让人好明白才这么叫的。 好了，“云炒菜中心”的架构就这么设计好了。我们可以看到，里面实际有两个中心:“理菜中心”和“炒菜中心”。理菜中心解决的要炒的菜多，排队炒等不起的问题；而炒菜中心解决的是吃菜的人多，每人一个专用锅浪费的问题。大数据处理和云计算，实际上目前还只是在不同的场地上，由不同的家伙式来干的不同的事。但由于只有一个名字：“（云）计算中心”，很容易让人误以为，只要是有这个名字的地方，就可以两种事都做齐了。而实际的事实是：大多数的有这个名字的地方，要么只是理菜中心，要么只是炒菜中心。能合二为一的地方，意味着它里面，大数据和虚拟云计算这两套家伙式（基础设施）都得有，而且必须能配合得起来。 比如，那个巨无霸，我是很怀疑在它的周围是否设有“理菜中心”的。巨无霸提供的只是炒菜的能力强准确地说，只是快，可能人家炒一锅，它可炒10万锅，“锅”当然也不小，能不能一轮就炒出一个大菜来，还要看有没有给它配一个自动供料的“理菜中心”。 我怀疑的理由是：让我们看看现在世面上的厂家的做的厨房和各家所用的厨房吧，你会知道我的怀疑不是胡思乱想的。 好，就让我们以云计算为例，来检视一下目前的云计算架构和大数据处理的架构吧，看看在架构上，我们是否已经准备好了“同时既能容纳足够多食材，又能容纳足够多的炒锅”的厨房和灶台了吧。 先看IBM的“蓝云” 看吧，这框出来的部分，显然只是一个大“灶台”-虚拟云计算环境。而作为理菜场的“大数据”在哪？难道要建在虚拟网络里吗？大数据可是实打实地需要网络吞吐量的哦，好吧，就算可以建在虚拟网络里，而且我们这100个大操场确实是从一块有足够大面积的场地（存储空间）中虚拟出来的，可难保这100个大操场的100张大门，不是从一张门虚拟出来的啊（是否有足够的网络与存储设备间的带宽，值得怀疑），尽管这张门也可能比较宽，但要做到真实所需的100张门这么宽，就没有虚拟的必要了。要知道，大数据处理，是依靠真实可同时开进开出的通道，才能做到并行“捡菜、切菜”的啊！ 再来看惠普云计算解决方案吧。 是不是也是一个大“灶台”，它告诉你，那1000个炒菜锅，或许是100个刀片服务器虚拟出来的。而且，它还直接明了的告诉我们：服务器存储网络SAN是独立架构的。不管其SAN是用超融合设备还是用纯软件解决，总之，网络内的存储资源已被统一池化。这意味着：虚拟出来的主机系统，即便可以用来当作大数据处理的某个结点（一块理菜的场地），但这块场地的门，是否独立，能否支持全部主机的并行数据进出，是个大疑问。 再来看个国产的华为的吧 华为没有把大数据平台和云计算平台混谈。 这是其大数据平台架构： 显然，这个架构和“虚拟化”，池化无关。一个Hadoop集群完成“理菜中心”的任务，是比较完整的电信级的大数据解决方案。 下面这就是华为的“大灶台”虚拟云计算中心了： 厂家的看到这了，看到这，我们应该明白这个道理了：所谓云计算平台和大数据平台是两个不同的平台，我们在云计算平台中看不到集群的影子，在大数据平台中，看不到虚拟池化的影子。而不是所谓的：只要是云计算，就是用大锅炒大菜了。大数据和虚拟云完全是两个 可以不搭边 的不同应用。当然，也可以搭边，但要搭边，就一定要同时拥有这2套系统，才能用大锅炒大菜。在这，我只是打出了IBM和HP的“炒菜中心”方案，相信，IBM，HP也有自己各自的“理菜中新”方案。 下面来看玩家的。当然，先看亚马逊的。 这是亚马逊的弹性云平台EC2 这是一个真正把“理菜中心”和“炒菜中心”整合在一起了的一个方案。其弹性大数据处理MapReduce部分是一个相对独立的架构，底层跨在Ec2 Instances和S3 之上，意味着，这个独立的大数据处理平台，是构建在虚拟的计算资源和虚拟存储资源基础之上的。所以，我有点怀疑这个架构的大数据处理能力和效率，应该不会比Google强。 好，立马来看Google的云架构 看到了吧，Google是干什么的，Google的云架构主要是由N多个Node组成，每个Node其实就是一个“理菜中心”，所以，google的“云计算”里面，其实没有云计算，只有大数据处理。基于GSF的MapReduce是Google干的最多的活。他们不出租计算主机，所以不提供虚拟云。 微软的是个灶台，不用多说了，看下图就知道：没有大数据，只有虚拟资源服务。 下面看国内玩家的 百度在架构上显然是同时支持“炒菜”和“理菜”的，这点和亚马逊相当。和竞争对手Google比，至少在架构上设计更全面，可支持更丰富和开放的服务。当然，从实际开发的IT应用项目的数量和先进性而言，google领先于百度是毫无疑问的，但这和云计算架构无关。也就是说，作为一个平台，百度至少是不输给google的。 本来不想看的，还是来看一下“阿里云”吧 阿里云的架构显得很怪异，它更象一个独立的网络版应用系统，也就是一个功能级的应用支撑平台，而不是一个通用的系统级网络应用支撑平台。其架构从图示上看给人个感觉就是“混乱”。整个数据中心作为底层，之上支撑的仅仅是一个操作系统Linux，似乎是Linux装载在“数据中心”这个“裸机”上。再往上的层次也是，似乎是想将整个阿里云当作一台电脑来打造一样。 这个想法比较独特，但在技术支撑上，很可能被主流的云计算平台架构技术“吞没”。尽管阿里有钱了，这么任性，风险还是有点大。从应用的角度来看，阿里云的架构似乎只能支撑自己的一盘大菜，老百姓各炒自己的小菜，便是他的大菜。 总的看来，阿里云不是一个技术云，而是一个业务云。说白了，大数据系统是系统之下的系统，云计算系统则是系统之上的系统，阿里的架构师看来是不懂这个，或者太懂这个了，居然可以集成得像一台机器。如果是后者，其野心大得有点可怕，当然，也就风险很大。 接着从纯技术的角度来看下大数据和云计算的通行架构吧。 大数据，当然，以目前仍占主流的Hadoop为例，尽管它应该很快被Spark所替代掉。 写到这，不免让我有所慨叹：我们国内的技术跟风者，简直就像我们A股市场上的散户——如果把国际云计算技术比作A股市场的话。看看人家的顶尖大学在做什么，而我们的呢？难怪，当我发出豪言要超越他们的时候，显得那么“蚁马赛跑”。好在有“蚁群算法”，而没有“马群算法”，赛就赛吧，期待蚁王驾到，蚁群出现。 不用讲了，我已经讲过了，这就是个“大白菜料理场”而已。所有的技术概念都可以和大白菜料理场的概念对应上，你丝毫不必觉得它有什么神秘。如何映射概念，由于时间关系暂时也不展开了。 更想说说Spark的架构 说是Spark的架构，还真不如说是Spark的生态。说生态的感觉确实比架构的感觉舒服很多。多种物种的共生环境，确实比冰冷的组件、构件、模块结构相互支撑互动的系统，让人感觉温暖得多。计算机架构仿生的理念，总算逐渐被“发源”了——显然，这不仅仅是心理的温暖感的需求，而是技术质变的需求。 这里只说RDD，Spark的核心创新：抽象的弹性分布式数据集。还是用比喻来说科普一点：如果说MapReduce的机制，是生产线上的“皮带传动”运输处理线的话，RDD就是叉车托盘运输处理流程线。关键差别在哪？在分散数据在处理过程中的共享。当然，这意味着RDD必须比Mapreduce支持更多的操作，这些更多的操作支持，最终可使数据处理更灵活和流畅。可见，这种生态感是从骨子里透出来的。 这里不得不提一下我发现的“资源”概念。RDD是最接近资源概念的数据集概念，但还没有达到资源概念的创新高度。何以此说？资源是一种“分布式弹性对象”，走看吧，我敢打赌，未来RDD的升级版提出类似“分布式弹性对象”、再发展下去，当国外大拿们提出某种“软件组件虚拟化”的技术概念来的时候，国内的跟风卖力者必定又将趋之若鹜。殊不知，蚂蚁已经走在骏马之前了，可谁会跟蚂蚁的风？蚂蚁就算没命奔跑也带不起风啊。哦，原来，是“跟风”这种行为的错， 蚁 群可不是靠跟风来形成群体智慧的啊。 顺便提下REST，RESTful和“资源”的关系。最早的互联网是把数据资源化，接下来是把软件服务资源化，也就是RESTful，云计算环境下的互联网把硬件资产资源化了，当然，SOA走到了云计算的前面是一种阴差阳错，差错在SOA是软件服务的行为化。走在云计算后面的软件服务，将是：将资源进行到底——软件组件直至程序逻辑和语句的资源化。 RESTful是把用代码程序语言开发的软件资源化，而我的面向资源开发，是用虚拟化的软件资源开发程序。本质相同的是资源化的方法手段，本质不同的是资源化的架构层次。 资源化，就是虚拟化，云化，池化。其背后的本质，是将“分享、共享的技术机制（请决不要理解为仅仅是精神意念）”沉淀到底。RDD正是走在这条路上的“先行者”（先行马，前面还有只“先行蚁”，是资源，呵呵）之一。 一般云计算架构，上刘鹏的图了： 我猜这个刘鹏就是当面在北大推动网格计算的那位刘鹏。记得我和他通过一封邮件，邮件中我很赞赏他的工作和网格计算的理念，是将混沌的互联网引向有序的起点。他也给我回过邮件表示同意我的观点。 最后，给出我描绘的未来云计算的通行架构 最后，表达个人期望：我非常希望能加入一个类似“透明计算”团队这样的国家队，把面向资源开发的这只蚂蚁变成一匹骏马。最终让质疑我们国人技术创新能力的人闭嘴，让国外厂商来跟我们的风。 除最后一幅图，图片来自网络，版权归其作者所有 邱嘉文 2015年1月31日 于珠海诚开智能
个人分类: 面向资源软件开发方法|13479 次阅读|3 个评论
[转载]统一交换机接口的千难万阻
SDNLAB123 2015-1-27 14:50
现在数据中心和企业网中，网络设备中交换机占了很大的数目。互联网公司数据中心传统的架构里需要大量采购交换机等网络设备，而现在新兴的云计算中的网络和企业网组建内部网络也需要大量的此类设备，大家都因为交换机的 CLI 或 API 接口不统一而面临如何不被厂家锁定的问题，这里不仅仅有价格利益上的因素，更多的是技术上希望有较多的选择。而在 SDN 领域里，统一南向接口更是控制转发分离后， SDN 控制器来管理底层网络的基础。 通常造成交换机管理或控制比较难统一的因素大概有这么几类： 第一，交换机芯片商和交换机设备商厂家众多，客户所购买交换机上面所跑的交换机操作系统一般都是设备商私有研发的闭源系统，或基于 Linux 等开源系统定制研发的操作系统；芯片商的芯片 SDK API 很大差异，这样都导致的交换机常用配置方式 CLI 差异非常大，设备商的网络设备也一般不提供软件的接口，对极少数设备商提供了 API ，接口之间的差异也很大。 第二，纵然是不同设备商交换机的同一个功能，即使该功能有标准可参考，但是实现出来的产品形态仍然千差万别，甚至在标准未有明确规定之处，两家厂商可能会做出截然相反的实现做法，因为设备商所用的交换芯片可能不同而导致芯片对该功能的支持程度不同；进一步即使两家设备商采用了同一家芯片商的同一款型号开发同一个功能，因为技术人员的技术水平差异和思维方式差别，也会造成两家交换机设备所提供的同一个网络功能，在配置方式上基本会有显著的不同。 第三，使用交换机的客户通常没有足够的时间、财力和精力对所有厂家的交换机都进行测试和调研，通常是选择其中的几家进行竞标或对比测试，甚至有的厂商连对比测试都没有做，只是随意选择了一家设备商的交换机，当然也可能有技术积累不够方面的原因认为所有设备商的交换机功能都应该是一样的，这样导致了这些客户肯定会被设备商锁定；回过头来仔细想想，纵然做了足够对比测试和竞标流程的客户，因为对网络设备控制管理的因素，也不太可能选择太多厂家的设备，而只能最终选择两三家的产品，实质上也是被这两三家设备商所锁定；近在两三家设备商提供的设备里，再加上产品型号的不同，交换机数量一旦上了规模，其部署、管理和维护的难度及成本，都是极其大的。 第四，交换机接口不统一且不开放，很大的原因是此方面标准化工作做的不足，所以 OpenFlow 协议的提出可谓是生逢其时，这也为蓬勃发展的 SDN 提供标准化的开放南向接口，但是 OpenFlow 有些太“学术化”，有以下几方面因素： a） OpenFlow 标准内容最初没有基于现有的交换芯片，而是在原来 ACL 的基础上发展为全 TCAM 实现，这会给芯片商和设备商带来技术上的资金和人力投资，以开发新的硬件和软件来支持 OpenFlow ，但是新研发都是有风险的；所以后来也有 I2RS 的提出，最近 OpenFlow 有提出 TTP 的内容 （ https://www.opennetworking.org/images/stories/downloads/sdn-resources/onf-specifications/openflow/OpenFlow%20Table%20Type%20Patterns%20v1.0.pdf ）； b ） OpenFlow 引入生产环境，在新的部署中重新网络规划和采购新设备基本还可以，但对于已有的设备仅是升级软件的话，会导致一些原来的设备无法使用的问题，这必然会导致客户更换设备引起成本的增加，也会导致一些设备被淘汰而浪费，会给 OpenFlow 的落地带来不利的因素； c ）和传统设备研发一样，虽然 OpenFlow 也是标准的，但是由于设备商使用的硬件交换芯片和开发人员的技术思维不同，将来也会引起设备商之间设备不兼容性的问题；这样虽然是标准的接口，但是不同厂家的实现不同也给接口统一带来了一定的难度； 第五，为摆脱设备商锁定和其产品不满足定制化需求的问题（很少有设备商为了单一客户而定制开发某个型号的交换机），使用交换机设备的客户不被设备商锁定，还有一种解决方式是对交换机设备进行自研，比如 Google 、 Facebook 和国内的 BAT 等，这种方式需要客户有足够的财力和技术投资才可以尝试，一般的企业客户和新兴云计算厂商还不具备这个条件。 第六，新兴的白牌交换机，是将这些交换机的硬件和操作系统相分离，类似于购买电脑和安装操作系统之间的关系，购买了一台笔记本电脑可以安装任意想用的系统一样，交换机硬件购买后来安装想要的交换机操作系统，例如在 NFV 中设备厂商提供的白牌交换机（比如 Pica8 和盛科等厂商）也是不错的选择，但是要同时玩得起交换机硬件测试和软件达标，这些对客户的技术要求也不会太低。 第七，在云计算中则多采取了在物理网络通用的二三层转发之上，采用虚拟交换机（比如 Open vSwitch ）对网络虚拟化来规避不同厂商设备之间的差异所带来的技术问题，这些虚拟交换机通常是服务器里虚拟而出，必然会占用服务器的 CPU 和内存等本应用于计算的资源，需要客户仔细核算这之间的成本是否足以抵消为解决不被厂商锁定带来的收益；也有一些设备商比如盛科、思科和博科等提供了一些可以用于云计算网络的硬件设备，但毕竟基本属于私有实现，不具备所有厂家的通用性，也会导致被设备商锁定的问题。 交换机接口的开放和统一，对于客户利益来讲，还是对于 SDN/NFV 及云计算网络等技术角度来说，都有着重大的影响；但是前方的路各界都还在探索，有些时候少不了迷惑和道路弯曲，但是目标是明确且辉煌的。而 SDN 控制器及北向接口最终的发展和实现，也可能像现在的交换机研发一样，最终是规模大的厂商在主导，小的厂商在跟进！ 作者： @ 北京 - 小武 邮箱： night_elf1020@163.com 本文来源于 SDNLAB ，可点击此 阅读原文 。如果您对本文感兴趣，可参与以下互动方式与作者近距离交流。 另外我们网站也有大型企业招聘平台，里面有很多优质的岗位，有意者请 点击招聘 查看详情。 如果 您对 本文 感兴趣，可参与 以下 互动方式与作者近距离交流。 （1） 微博（ http://weibo.com/sdnlab/ ） （2） 微信 ( 账号 ： SDNLAB ) （3） QQ 群 SD N研究群（214146842） OpenDaylight研究群（194240432）
个人分类: 技术交流|1257 次阅读|0 个评论
Overlay网络与物理网络的关系
SDNLAB123 2015-1-19 14:25
编者按：无论是云计算还是 SDN 都把注意力集中在数据中心网络的建设上，各种解决方案层出不穷，其中以 VMware 为代表的软件厂商提出 Overlay 网络方案后，为数据中心网络的发展提出了新的思路。那么 Overlay 是如何与物理网络相互依存的？ 在以往 IT 建设中，硬件服务器上运行的是虚拟层的计算，物理网络为了与虚拟服务器对接，需要网络自己进行调整，以便和新的计算层对接（如图 1 所示）。 Overlay 是在传统网络上虚拟出一个虚拟网络来，传统网络不需要在做任何适配 , 这样物理层网络只对应物理层的计算（物理机、虚拟化层管理网），虚拟的网络只对应虚拟计算（虚拟机的业务 IP ），如图 2 所示。 Overlay 的技术路线，其实是从架构上对数据中心的建设模式进行了颠覆，对物理设备的要求降至最低，业务完全定义在层叠网络上。那么，这是否意味着将来数据中心使用 Overlay 网络不需要硬件支持而只需要软件定义就足够了呢？答案无疑是否定的。 以下讨论 Overlay 网络与物理网络的依存关系。由于 VXLAN （ Virtual eXtensible LAN ）技术是当前最为主流的 Overlay 标准，以下 VXLAN 技术为代表进行具体描述。 1. 报文的封装与解封装 VXLAN 的核心在于承载于物理网络上的隧道技术，这就意味着要对报文进行封装和解封装，因此需要硬件来加速处理。 在 VXLAN 网络中，用于建立 VXLAN 隧道的端点设备称为 VTEP （ VXLAN Tunneling End Point ， VXLAN 隧道终结点），封装和解封装在 VTEP 节点上进行。 在云数据中心，部分业务是不适合进行虚拟化的（如小机服务器，高性能数据库服务器），这些服务器会直接与物理交换机互联，而他们又必须与对应租户 / 业务的 VXLAN 网络互通，此时就必须要求与其互联的硬件交换机也能支持 VXLAN 协议，以接入 VXLAN 网络。 考虑到服务器接入的可以是虚拟交换机，也可以是物理交换机，因此存在三种不同的构建模式（如图 3 所示）：其中网络 Overlay 方案中，所有终端均采用物理交换机作为 VTEP 节点；主机 Overlay 方案中，所有终端均采用虚拟交换机作为 VTEP 节点；混合 Overlay 方案中，既有物理交换机接入，又有虚拟交换机接入，且软件 VTEP 和硬件 VTEP 之间可以基于标准协议互通。 在网络 Overlay 方案和混合 Overlay 方案中，都需要有物理交换机设备支持 VXLAN 协议栈，并能与虚拟交换机构建的 VTEP 互通。由于在实际组网环境中，服务器种类很多，高吞吐高性能要求的业务一般都采用单独物理服务器甚至小机的硬件环境，而非虚拟化的 x86 服务器，这就没法使用 vSwitch 来接入 VXLAN 网络，只能让支持 VXLAN 的物理交换机来接入了。 2. 组播协议传播 VXLAN 网络的 MAC 表与隧道终端的绑定关系要用组播协议传播，而大规格组播协议离不开物理网络设备的支持。 按照 VXLAN 的标准，每一个 VTEP 都需要了解其接入的终端 MAC 地址，同时还需要知道整网（该 VXLAN 实例中）其他 VTEP 下所有的终端 MAC 地址。只有这样，在本地的 VTEP 收到报文后需要转发时，才能根据目的 MAC 查询到需要送到远端的目的 VTEP 那里。 按照 IETF 中对 VXLAN 网络的定义，负责在网络中传播 MAC 地址和 VTEP 对应关系的机制，正是依托于物理网络中的组播协议。 VTEP 将本地的 MAC 地址表利用组播协议在整个组播中传播，从而使得整网中所有组播成员，也就是其他 VTEP 都知道本地的 MAC 地址表。当 VTEP 下的终端接入情况有所更改，如新增了 MAC 地址或者减少了 MAC 地址，也需要利用组播协议通知同一个实例下的所有 VTEP 。另外，当本地 VTEP 找不到目的 MAC 处于哪一个远端 VTEP 时，也需要发送组播报文来查找目的 MAC 主机所属的远端 VTEP 。 如图 4 所示，多个 VTEP 需要在整网中传递 VTEP 下 MAC 地址信息，逻辑传递路线如绿色虚线所示。由于需要进行逻辑上的 Full-Mesh 连接，连接逻辑线路会达到 N 平方量级，因此实际组网中， VXLAN 利用了物理网络的组播组，在建立好的组播组中加入 VXLAN 中所有 VTEP 成员，传递 VTEP 变更信息。在多用户多业务情况下，组播组要求与 VXLAN 数量息息相关。由于 VXLAN 网络规模的不断拓展（最大可达到 16M 个 VXLAN 网络），所需要的组播条目数会不断增加，这实际上对于物理网络承载组播处理能力和规格提出了要求。 由于标准 VXLAN 架构下使用组播协议，对物理网络组播数规格要求较大，因此 H3C VXLAN 解决方案基于 SDN 架构，通过引入全网的 SDN Controller 来实现 VXLAN 的管理和维护，使得 VTEP 之间的信息可以通过 Controller 来进行反射（如图 5 所示）。这样， VTEP 的 MAC 地址表映射关系不再通过组播向全网其他 VTEP 传达，而是统一上报给控制器，由控制器统一下发给需要接受此消息的其他 VTEP ，由具体的 VTEP 执行转发机制。 可见，在 SDN 架构下，硬件形态的 VTEP 需要能够支持集中控制器下发的业务控制信息，同时基于 Openflow 进行流表转发。而传统硬件交换机不能支持上述特性，必须由新硬件设备来执行和完成的。 3. VXLAN 网络互通 在传统 L2 网络中，报文跨 VLAN 转发，需要借助三层设备来完成不同 VLAN 之间的互通问题。 VXLAN 网络与传统网络、以及 VXLAN 网络的互通，必须有网络设备的支持。 VXLAN 网络框架中定义了两种网关单元。 VXLAN 三层网关。用于终结 VXLAN 网络，将 VXLAN 报文转换成传统三层报文送至 IP 网络，适用于 VXLAN 网络内服务器与远端终端之间的三层互访；同时也用作不同 VXLAN 网络互通。如图 6 所示，当服务器访问外部网络时， VXLAN 三层网关剥离对应 VXLAN 报文封装，送入 IP 网络；当外部终端访问 VXLAN 内的服务器时， VXLAN 根据目的 IP 地址确定所属 VXLAN 及所属的 VTEP ，加上对应的 VXLAN 报文头封装进入 VXLAN 网络。 VXLAN 之间的互访流量与此类似， VXLAN 网关剥离 VXLAN 报文头，并基于目的 IP 地址确定所属 VXLAN 及所属的 VTEP ，重新封装后送入另外的 VXLAN 网络。 VXLAN 二层网关。用于终结 VXLAN 网络，将 VXLAN 报文转换成对应的传统二层网络送到传统以太网络，适用于 VXLAN 网络内服务器与远端终端或远端服务器的二层互联。如在不同网络中做虚拟机迁移时，当业务需要传统网络中服务器与 VXLAN 网络中服务器在同一个二层中，此时需要使用 VXLAN 二层网关打通 VXLAN 网络和二层网络。如图 7 所示， VXLAN 10 网络中的服务器要和 IP 网络中 VLAN100 的业务二层互通，此时就需要通过 VXLAN 的二层网关进行互联。 VXLAN10 的报文进入 IP 网络的流量，剥掉 VXLAN 的报文头，根据 VXLAN 的标签查询对应的 VLAN 网络（此处对应的是 VLAN100 ），并据此在二层报文中加入 VLAN 的 802.1Q 报文送入 IP 网络；相反 VLAN100 的业务流量进入 VXLAN 也需要根据 VLAN 获知对应的 VXLAN 网络编号，根据目的 MAC 获知远端 VTEP 的 IP 地址，基于以上信息进行 VXLAN 封装后送入对应的 VXLAN 网络。 可见，无论是二层还是三层网关，均涉及到查表转发、 VXLAN 报文的解封装和封装操作。从转发效率和执行性能来看，都只能在物理网络设备上实现，并且传统设备无法支持，必须通过新的硬件形式来实现。 结束语 Overlay 由于其简单、一致的解决问题方法，加上重新定义的网络可以进行软件定义，已经成为数据中心网络最炙手可热的技术方案。然而，它并不是一张完全由软件定义的网络， Overlay 网络解决方案必定是一种软硬结合的方案，无论是从接入层 VTEP 混合组网的组网要求、组播或 SDN 控制层协议的支持，还是 VXLAN 网络与传统网络的互通来看，都需要硬件积极的配合和参与，必须构建在坚实和先进的物理网络架构基础上。 本文来源于 SDNLAB ，可点击此 阅读原文 。如果您对本文感兴趣，可参与以下互动方式与作者近距离交流。 另外我们门户网站也有大型企业招聘平台，里面有很多优质的岗位，有意者请 点击招聘 查看详情。 如果 您对 本文 感兴趣，可参与 以下 互动方式与作者近距离交流。 （1） 微博（ http://weibo.com/sdnlab/ ） （2） 微信 ( 账号 ： SDNLAB ) （3） QQ 群 SD N研究群（214146842） OpenDaylight研究群（194240432）
个人分类: 技术交流|3522 次阅读|0 个评论
云端生存思考之四：书到用时方恨多
fpe 2014-12-28 23:06
云端生存思考之四：书到用时方恨多 云端生活时代，居然还有人抱怨“书到用时方恨少”？互联网的时代，一个搜索指令放出去，几十万条反馈回来，你看都无法看完，怎能说书少呢？实际上这是知识爆炸的年代，往往是知识的取舍问题耗费了更多的时间，而不是缺乏知识。这里谈一谈知识过多带来后果。 大约十年前，我到老板家里，看到一面墙的书，着实让我敬佩，现在我一个晚上就可以宕下一面墙的书，知识的价格很难体现了。现在我们常常关心问题是，有充足时间来看书吗？庄子曾经担心的问题，“吾生有涯 ，而知无涯”，以有对无，不是危险吗？我现在就有这种感受。为了对付云计算，我有大量的阅读任务，自然羡慕那些“书到用时方恨少”的人。 有人常常愤愤不平，同样是工作，为什么水暖工一个小时收60美元（只能挣四分之一），一名电工收80，一名绘图员收80，一名工程师收120，一名咨询师收150，一名博士级专家收200，一名行业知名人物收500？是他们的书不够吗？美国可以买到各种各样的知识，有知识专业供给商，7／24地提供知识的服务。这些都是额外的支出，是专家咨询费之外的投入。所谓的专家，其实就是那些把最多的知识，以最少的方式表达出来的人。 现实生活中，很多问题没有答案，或者说答案太多，缺乏共识，这时候专家站出来说，我有理由表明，这是最佳答案，于是你就得乖乖地掏钱，谁让你不能像专家那样压缩和摆弄知识呢？专家不是拥有知识，而是倒腾知识的人 。拥有书，并不代表拥有知识。 为什么我们会感到“书到用时方恨多”？第一，我们缺乏对核心知识的把握，所以任何知识都似乎有用，让我们成为知识的奴隶，而不是主人。书虫，书虫，读书成虫，实在是不会读书，或者没有入门的结果。一个接受了高等教育的人，起码拥有一双专业的眼光，比那些到大海里去捞针的读者站得高，看得远，自然要少几分”书到用时方恨多“的感受。无他，心中有理论指引，就不会被垃圾知识干扰了。中国语文教育的重要缺陷是，全世界文明的最新成果，都抵不过“子曰诗云”，什么时候，中国小学的语文课本里能够像美国那样出现苏格拉底和柏拉图？教育界害怕经典理论，如同老鼠怕猫，这是中文读者无法领会全人类文明成果的关键。 为什么我们会感到”书到用时方恨多“？其次，我们接受标准化教育，认为非书本标准的答案都是不可接受的，而现实生活问题，大多无法找到直接的答案，于是这些问题，成为我们的鸡肋，相关的知识，成为解决问题的困扰。”尽信书，不如无书“，所以很多人都沉浸在游戏的世界里，就害怕直面人世的问题。这是教育制度的问题，也是社会某一发展阶段的必然结果。 为什么我们会感到”书到用时方恨多“？第三，因为生活变化太快，我们忘记了及时总结。过去知识是有限的，在有限的内容里作文章，发挥的余地有限，所以那些成功者，大多在诗词领域发挥过多的精力，除了科举的知识和抒情的知识，中国没有其他知识。现在的高考不是科举，专业又是无比的精深，让我们手足无措。过去我们是和国人比，现在我们是和全球比，当然会产生手足无措的茫然，为什么技能如山难攀登，知识似海不得渡？等我们下一代都学会了在小学时每周读上10本书，强化读书的训练，人人都不必害怕读书，也就没有那份”恨书多“的感受了。 那么云端的生存策略如何?有积累的卖积累，没积累的卖界面。那些卖论文的厂家大发其财我们就不说了，人家有的是人类智慧的版权，我们只能望文兴叹。我们后来者，做得最好的，莫过于雅虎和谷歌，前者卖分类信息（即门户网站），后者卖有加权的信息（即搜索网站）。卖技术的叫咨询，没技术的叫黄牛（其实他们卖的是服务，有市场需求，为什么犯法了？给黄牛戴“投机倒把”的帽子，给贩卖知识的咨询者带啥帽子？泄密罪或危害国家安全罪。）。云端时代，我们想的是买什么？怎么卖？ 生活在互联网的时代，我们有理由“恨书多”，更需要反思的是，什么样的教育方式，可以让我们对知识从心所欲，不逾矩；从善如流，不害怕？靠的是理论知识和技能经验。只有人人都感到 “ 书到用时方恨多”，才有人想到去找专业人士咨询，才有我们消 工程师的就业市场。如果老师都懂消防，我们不是都会失业了吗？
个人分类: 消防以外|2636 次阅读|0 个评论
云端生存思考之二：复制的成功，后发的劣势
fpe 2014-12-24 10:10
云端生存思考之二：复制的成功，后发的劣势 拿到Chromebook之后，首先想到的是可以完成那些功能，我们拿计算机干什么任务呢？文档／绘图／上网／读书／通信，这些基本的功能都可以在云端实现，而且都是免费了。这就是微软产品大幅降价甚至免费的压力来源。曾经的微软高高在上，想定什么价格就是什么价格。现在，所有的微软产品功能都有相应的免费的软件可以实现，面对这种免费的压力，微软十分被动，可以维持不败，但也很难取胜了。 感到威胁的，岂止是微软，Adobe的PDF也不能维持垄断了，Autodesk的ACAD也不能无视免费了，云端生存的最大秘密，是那些后来的竞争者，通过统一的平台（即HTML5技术），重新开发过去功能的部分实现，比如微软的Visio是个好东东，一直舍不得放进Office系列，可是现在有两款竞争性产品，Gliffy和LucidChart的出现，直接复制了Visio的很多功能。新技术的出现，总是一次大洗牌，符合未来趋势的产品，留下来。不符合未来趋势（就是云计算)，很快被淘汰。所以，Visio虽然好用，但其寿命如何，很难说。Visio的长处被后来者完全仿造，而且是基于不同平台，因此不能说是复制，所以没有版权问题。 不过到目前为止，还看不到中国人的身影。Jered Diamond曾经提到中国的弱点是政府太强，可以屏蔽民间的创造力，即所谓的Lurch理论。Lurch，本来是指胡乱迈步，不知进退，Diamond特指古代中国政府越厨代庖，干涉科技的发展进程，人为打断正常的发展程序，比如最典型的例子是郑和下西洋，政府的决定毫无逻辑可言，但影响了几百年的发展，到现在也没有消除。 在这场云计算的狂欢中，有关方面有犯了老毛病，把谷歌剔除在外，屏蔽了很多主流软件系统，结果虽然更有中国特色了，但在主流软件领域看不到国人的原创贡献，开放30年，软件还是靠汉化和民粹化（满足本地喜好）过日子，美其名曰“接地气”，但这样做，是故意忽视世界的主流思想，导致每一次运动，中国都不能作出起码的贡献，十分令人遗憾。我虽然不搞软件，但用不到国人的原创软件，这可能就是Diamond提出的政府干涉科技的Lurch现象吧。成也萧何，败也萧何，就是Lurch。 20多年前，在那场人人都知道的淘汰哈龙运动中，中国得到了很大的便宜，比如哈龙产业移到中国，哈龙便利给予发展中国家（就是中国），结果，中国在这场淘汰哈龙的运动中，没有投入科研，也没有得到收获，现在市场上基本都是外国研制的产品，中国到处奉行“拿来主义”而已。如今，这种局面正在云计算领域上演，虽然国内调门高，会宣传，但在战略层面，已经输掉了一局。 为什么中国缺乏科技发展的动力？因为保护屏蔽了思想，稳定放松了警觉，政府干预了市场，行政误导了科技，这是我对云计算时代的一点感悟。
个人分类: 消防以外|2512 次阅读|0 个评论
对云端无英雄时代的几点思考
热度 5 fpe 2014-12-21 00:09
对云端无英雄时代的几点思考 不管我们承认与否，我们已经生活在云端（互联网）的时代。英雄是怎么出来的，有限媒体集中火力堆积出来的（比如谭千秋和赖宁）。云计算的时代，媒体多样化，根本不可能集中火力，也就难以塑造英雄。一个偶然被放大的英雄，能够经得起媒体的考验吗？停留在英雄的情节上，还是左派思路，承认大众是无能的，需要有英雄的带领。如果按照右派的思维，英雄是不需要的，人人都可以成为英雄，所以当今时代缺乏英雄，也是右派思想占主流的结果，换句话说，以人为本的社会思潮，往往是反英雄的。 最近看了几本介绍云计算的书，对云计算有一些外行的认识。作为消防工程师，我们并不指望改变这个大趋势，而是指望能够为这个趋势加砖添瓦，如果时势确实按照我们的思路去演化，一不小心我们就成了英雄，成了历史的推动者。 云计算是什么？按照我以前的认识，就是并行计算。我曾经操纵美国某处不知何方基地的并行计算机，在数千节点中，我只用了 64 个，算是很小的应用了。由于是试验性质，计算结果不好，而且很快把机时用光，所以我对并行计算的印象很不好，起码它不能让我随时改进，让我产生力不从心的感觉。所以，我对云计算技术也是敬而远之，不愿多想。 最近，为了增加上网的便利性，我研究了 Chromebook ，顺道研究了背后的理念，发现谷歌是在布局，布一场很大的局，这个成功的关键是云计算，而似乎是不会失败的，因为云计算的趋势已经是大势多趋了。为什么现在要谈、要作云计算？我认为有以下的原因，第一，摩尔定律不是无限的，现在的半导体技术，已经遇到热力学的瓶颈（即如何散热问题），无法满足 18 个月加倍的规律了。曾经按照摩尔定律的微软系统开发，也已经走到尽头，毕竟人们用计算机的目的是有限的，当所有的任务都能够被现有的计算机技术所满足之时，你微软又如何能够让人掏钱更新计算机呢？所以，计算机必然要走向规模化分散化；第二，网络带宽的增加。大约在 2007 年，我在美国还是用拨号上网，不要笑，大规模技术飞跃的前夜，需要积累资金，需要最大限度的利用过去的技术，所以拨号上网这种便宜的技术，仍然有市场。对老百姓而言，看看新闻和信箱就很满意了。当时异地作一个大型的计算，完成之后，当地的网管技术员需要把数据烧成 DVD ，通过快件寄给当事人，因为网络技术太慢了，计算机几分钟产生的数据，需要几天来传输。现在不同了，光纤技术的普及，让带宽成倍增长，家庭娱乐业（视频）的发展，是带宽工程的自然结果。第三，谷歌推动的 “ 人人都上网 ” 的理念，和乔帮主带动的小应用收费的思路，让网上出现成千上万的程序猿，这些码农产生的结果，就是让一台裸机（类似于 Chromebook ），也可以享受微软产品的大部分功能。其实，一台功能齐全的笔记本，普通人能够使用其中功能的 20% 就很不错了。绝大部分的 Driver 程序，都是不得已强加给我们的结果。而 Chromebook ，就像是寄生在微软产品之上的端口，可以直接进入互联网上去偷窥，也可以完成大部分的文档工作（即用电脑代替人脑的工作），但某些具体的工作，仍然需要操控普通计算机来实现，比如打印工作。也就是说， Chromebook 替网络增加了一些出口，让人们更好地享用网络，所以其功能早已是云计算的一部分。 那么，这和云计算有什么关联呢？云计算并不是全新的概念，其实这是过去的虚拟基础（ virtualizedinfrastructure ），租借硬件（ hardware on demand ），租用计算（ utility computing ）， IT 外包（ IToutsourcing ），平台和软件租借（ platform and software as a service ）等服务的综合，强调基础硬件的不可见特征（即云是无踪迹难追踪定位的）和自相似性（即大云小云都是相似的，可以随意放大缩小规模地使用）。云这个概念曾经被通信业用于描述系统中的网络的抽象，后来干脆就代称互联网。所以云计算就特指以互联网为中心的计算技术。那么，为什么现在叫云计算，不叫互联网了呢？因为互联网仅仅是云计算的一部分，互联网强调带宽和内容，云计算更强调硬件和软件的可靠性和安全性，产生了特殊的需要。 云端计算把硬件和软件转变成可以租用的商品，降低初投资的成本，减少硬件的维护成本。云端服务的好处（由于维护和运行费用的降低带来的经济好处），按照书本上的说法，有下列内容： No up-front commitments （没有初期投资，小企业可以降低门槛） on-demand access （不需要容量预计，云计算拥有巨大的扩容潜力，可扩充延展性） nice pricing ( 因为是共享服务 , 所以收费比较低 , 因为你只为你得到的服务付费 ) simplified applicationacceleration and scalability( 云计算的最大特征是不关心硬件基础 , 有人给你负责 , 所以你可以专心致力于提高用户界面 , 即不必关心软件 ) Efficient resource allocation( 既然所有的硬件都是平等的 , 你完全可以把精力集中到改进资源的管理上 ) Energy efficiency( 共享的目的当然是节能，自己不用就让别人用，空转也是耗电的，总是要发挥作用 ). Seamless creation and use ofthird-party services( 由于平台的稳定性 , 便于第三方开发软件 , 贡献才智 , 这是乔帮主的重大眼光 , 也是软件社会发展。换句话说，云计算增加了码农的生存空间，为某一产品开发的软件可以无缝移植到类似的产品上。 ) 令人感到奇怪的是，云计算的开创者和领头羊，居然是亚马逊公司。亚马逊不是卖书起家的吗？不错，亚马逊发家的根本是规模化效益，需要计算机技术的管理。可是亚马逊的早期发展有一个问题，就是打折很管用，吸引到的人潮（类似于今天的国内的购物节，从市场发育上看，中国的市场落后美国 10 年而已），让该公司的服务器不能胜任，可是无限添加硬件，又会带来很大的浪费，毕竟一年当中的大部分时间是无法产生足够的订单的。于是，本着这种对计算规模弹性的孜孜追求，亚马逊最早推出了云计算服务，让它自己多余的计算能力，给社会提供服务。当然，今天亚马逊售货部门的计算任务，仅仅是很小的一部分，亚马逊的云计算已经成为计算市场的领导者，产生丰厚的开拓效益，得到微软和谷歌的追随和模仿。亚马逊开创的事业，大概可以比肩爱迪生对发电供电的事业。有趣的是，两者走了不同的道路。 当初爱迪生发明灯泡（产生了巨大的发电需求），于是改进了发电机，最早的发电工厂位于纽约。当时他面临的选择是，到底是作中央发电，集中供电，还是分散发电，就地供电的生意模式问题。不用说，当时他选择了前者，给我们带来了巨大的电厂和输电网，还给中国带来了电老虎和网老虎，这是因为当时的发电效率低，传输效率高，所以需要集中布置以换取效率，包括环境效率（一根烟囱当然比无数的烟囱更环保）。可是现在的观点不同了，发电效率的提高，让新能源有市场；传输效率再高，还是有损失的，这些损失对于新能源来说，不能忽略不计。所以，在新能源的推动下，分散发电，就地服务的供电模式正在产生和壮大。 计算机技术的最早产生，也是是中央计算，分时使用开始的。 IBM 的大型计算机曾经主导了计算市场， DEC 的突然崛起，让中型机走入企业。 IBM 的幡然悔悟，开创了个人机市场，不经意的选择，让微软成为市场的垄断者和大牛。这一发展进程，基本上是从大到小，从中央到分散的，这主要是由于通讯技术的瓶颈，大型机的能力没有得到充分的发挥，所以对于大型机的理论和功能认识，人们并没有得到深入的认识。当市场的需求得到全面的开发之后，大数据和并行计算，成为推动计算能力集中化的推手，光纤计算的高速发展，让云计算成为可能，于是大家就突然之间，从互联网时代过渡到云技术时代。人们在享用云端的便利之时，并不了解背后的发展思路，技术发展的态势，存在众多的技术突破。最大的发明是模式的发明，而亚马逊云是这个领域的领跑者，我们到哪里能找到马云的身影呢？ 那么，云端可以给我们带来什么呢？对此国内有很多管窥的理解，似是而全非。比如，医疗诊断可以远程通过互联网进行，于是专家入 “ 云 ” 。火场调查可以远程通过分享现场照片进行，于是李昌钰可以入 “ 云 ” ，成为通讯技术发展的得利者。其实，这些都是云计算的初浅应用，云计算的实质在于一个社会的量化管理，也就是说，云计算的精髓是大数据以及背后的社会舆情。云计算的另一个运用是专家的扁平化，过去社会靠的是神一样的专家意见，现在任何人只要有专业的直接的知识，都可以发表有针对性的意见，而不是专家作出的模棱两可的看法（专家背后有很大的永远保持 “ 不犯错误 ” 的压力，所以对陌生问题，只好顾左右而言他。小人物没有负担，当然可以 “ 童言无忌 ” 。越是神一样的专家，越不敢发表违背舆情的看法）。换句话说，云计算技术消灭了英雄的生存土壤，便于你我这种小专业人士的出头，即让这个社会扁平化。也许你和专家的距离存在十万八千里，你我之间的距离只有两个（你到屏幕的）距离那么近。 生活在云端无英雄的时代，为什么要写 “ 免费 ” 的博文呢？只不过是让你的记忆中有一个模糊的印象，在这个世界的某一个角落，存在一个比你思考更多的小专家，关键时候，给我一个 Email ，你解决了实际问题，我锻炼了专业技巧，这可能是云端时代的基本生存能力吧，所以我们要在这个云端的世界里笔耕不辍，精美的文字是大专家的，小专家只有自己的思考。不就是发表一点个人看法吗，招谁惹谁了？如果我真的是你所说的那样专业不精，技不如人，还会值得你这样 “ 文捧字杀 ” 吗？在 VIP 的眼中，是看不到真正的小人物的，他只会关心影响他未来地位的人。如果不幸被人盯上，也就是被作广告而已，置之不理是王道，反唇相讥是霸道，走向成功是正道。
个人分类: 消防时评|3812 次阅读|6 个评论
云机器人-Cloud Robotics
liruijiao 2014-12-3 19:23
2009年有个学期作业，做了一个关于云计算的调研，自Google2006年提出云计算这个概念后，引起了广泛关注，后来IaaS，PaaS, SaaS, 大数据，分布式计算，无联网，深度学习.....这些关键词逐步火热了起来。对这些概念有了一定的认识，在班上讨论时，突然冒出了云计算和机器人结合的想法，随后就经常关注云计算的发展，想办法跟自己的爱好-机器人结合起来，还把这个想法告诉一些老师和朋友。有老师说，我想得太大太宽泛了，这个主题不适合做研究。虽然后来做了关于护理机器人的研究，但是没有放弃云机器人 （Cloud Robotics），时刻关注着方面的发展动向。现在 云机器人是已经成为机器人领域的一个新的热点新方向，将机器人技与云计算相结合，以增强单个机器人的能力，同时将广泛扩展机器人的应用领域，加速和简化机器人系统的开发过程，降低机器人的构造和使用成本，无论是家庭机器人，工业机器人，医疗机器人，都具有极其深远的意义。比如，在云端可以建立知识库，深度学习，云辅助的图像识别和语音识别，移动机器人 导航（如 Google 街景，语义环境模型，水下 环境模型库）, 大规模协作机器人，模块化机器人，职业机器人，等等。 https://sites.google.com/site/ruijiaoli/blogs/page The concept of cloud robotics attempts to invoke cloud computing technology in robotics. Cloud computing is computing in which large groups of remote servers are networked to allow centralized data storage and online access to computer services or resources. Clouds can be classified as public, private or hybrid . Robots can benefit from the powerful computational, storage, and communications resources of modern data centers in the cloud. In addition, it removes overheads for maintenance and updates, and reduces dependence of local computing. Robots can take advantage of the rapid increase in data transfer rates to offload tasks without hard real time requirements from cloud. We can develop ubiquitous system for robots with powerful capability but reduce the cost of computing with cloud computing. And it possible to build robots have intelligent brain in cloud- knowledge base, virtual world environment model (may like Google street view), image processing and querying, large scale robots collaboration, augmented human~robot interaction (remote communication and reasoning). Such robot systems are capable of adapting variety of situations and providing different service from human‘s delegation. With regard to this concept, We can propose a various functional cloud robotics based system such as intelligent healthcare system, smart home with domestic robots, education robots, intelligent robot workers/ professionals....... In 2012, robotics celebrated its 50 year anniversary in terms of deployment of the first industrial robot at a manufacturing site. Since then, significant progress has been achieved. Robots are being used across the various domains of manufacturing, services, healthcare/medical, defense, and space. Robotics was initially introduced for dirty, dull, and dangerous tasks. Today, robotics are used in a much wider set of applications, and a key factor is to empower people in their daily lives across work, leisure, and domestic tasks. Three factors drive the adoption of robots: i) improved productivity in the increasingly competitive international environment; ii) improved quality of life in the presence of a significantly aging society; and iii) removing first responders and soldiers from the immediate danger/action. Economic growth, quality of life, and safety of our first responders continue to be key drivers for the adoption of robots. Robotics is one of a few technologies that has the potential to have an impact that is as transformative as the Internet. Robotics is already now a key technology for inshoring of jobs by companies such as Apple, Lenovo, Tesla, Foxconn, and many others and citizens who used to have to rely on family or nurses for basic tasks such as shaving, preparing a meal, or going to the restroom are having a higher degree of independence. In the aftermath of the earthquake in Fukushima, it was evident that it would be a challenge to get an actual sense of the resulting destruction without the deployment of robots for assessment of the magnitude of the damage and assessment of the environmental impact. Currently, many small factories in East China employe robot to work for some repeated work to reduced their product cost, which is their only chance to keep competitive in the market as a several factory managers said. On the other hand, with the increasing demand of robots, the development and manufacture of robots has been becoming a large market, Google has acquired more than ten robotics company to enlarge its business in robot. Other traditional robot companies such as KUKA, ABB robot, iRobot, SIASUN etc. have notable growth of markets from their financial reports. To fully evaluate the potential of using robotics across the set of available applications, a group of more than 160 people came together in five workshops to identify: i) business/application drivers; ii) the current set of gaps to provide solutions to end users; and iii) RD priorities to enable delivery on the business drivers. The meetings were topical across manufacturing, healthcare/medical robotics, service robotics, defense, and space. The workshops took place during the second half of 2012. At each workshop, there was a mixture present of industry users, academic researchers, and government program managers to ensure a broader coverage of the topics discussed. Robotics is one of a few technologies capable of near term building new companies, creating new jobs, and addressing a number of issues of national importance. Mailing list and group: http://robotics-worldwide.1046236.n5.nabble.com/ http://www.linkedin.com/groups/Cloud-Robotics-6922112 http://groups.google.com/forum/#!forum/cloud-robotics-list Literature tracking: Cloud robotics on Wikipedia ，Ruijiao Li, December 2014 Cloud Robotics and Automation A special issue of the IEEE Transactions on Automation Science and Engineering. Robots with Their Heads in the Clouds. Medium.com, from Aspen Ideas Festival Talk. Posted Aug 2014. New Research Center Aims to Develop Second Generation of Surgical Robots. John Markoff, NY Times, Oct, 2014 The Robot in the Cloud: A Conversation With Ken Goldberg. Quentin Hardy, NY Times, Oct, 2014 RoboBrain marks the dawn of cloud robotics . August 2014 The RoboBrain Project. August 2014. CoTeSys (Cognition for Technical Systems) TUM, DLR, LMU 2012-~2014 . Innovations in Cloud Robotics (Technical Insights) , Industrial report. June 2014 Cloud Robotics. The Atlantic, by Megan Garber. June 2014. DARPA on Cloud Robotics. April 2014. Big Push in Robotics Now Seems Imminent. The Economist. 29 March 2014. (Cloud Robotics discussed in last section). Robot Roundup. NPR Science Friday by Jordan Davidson. 26 March 2014. (Cloud Robotics discussed in last section) Open Call for References for new Survey Paper on Cloud Robotics and Automation. Moments that Stood out at SXSW: Panel on Cloud Robotics and Automation. Wall Street Journal, 11 March 2014. Panel on Cloud Robotics and Automation with James Kuffner of Google, Ayorkor Korsah of Ashesi Univ in Ghana, and Ken Goldberg, UC Berkeley. SXSW. Austin, TX, US. Mar 9, 2014. A Roadmap for U.S. Robotics From Internet to Robotics Cloud-based human activity monitoring. C hristian I. Penaloza etc. 2013 Robot Reinforcement Learning using Crowdsourced Rewards . C hristian I. Penaloza, Sonia Chernova, Yasushi Mae and Tatsuo Arai. November 2013. IROS Workshop on Cloud Robotics. Tokyo. November 2013. Cloud Robotics in Why We Love Robots. Short Documentary Film including section on Cloud Robotics. (Nominated for Emmy Award and winner of Botscar Award at Robot Film Festival), Oct 2013. CASE 2013 Workshop on Cloud Manufacturing and Automation. Aug 2013. Cloud-Based Robot Mapping. June 2013. Vlad Usenko, Markus Waibel, Mohanarajah Gajamohan, Dominique Hunziker, Dhananjay Sathe, Mayank Singh. Cloud-Based Robot Grasping with the Google Object Recognition Engine. Ben Kehoe, Akihiro Matsukawa, Sal Candido, James Kuffner, and Ken Goldberg. IEEE International Conference on Robotics and Automation. Karlsruhe, Germany. May 2013. US National Science Foundation Workshop on Cloud Robotics: Challenges and Opportunities, Feb 2013. Cloud Robotics and Automation: A Survey of Related Work. K. Goldberg and B. Kehoe. EECS Department, University of California, Berkeley, Technical Report UCB/EECS-2013-5. January 2013. Robot-App Store. Romo: $150 cloud-enabled robot from Romotive. Towards Cloud Robotic System: A Case Study of Online Co-localization for Fair Resource Competence . Lujia Wang, Ming Liu, Max Q.-H, Meng. IEEE International Conference on Robotics and Biomimetics (ROBIO) 2012 USD 10 Robot Design Challenge Winners. Results of an open design competition for an affordable robot for K-12 education, 2012. Organized by the African Robotics Network. Toward Cloud-Based Grasping with Uncertainty in Shape: Estimating Lower Bounds on Achieving Force Closure with Zero-Slip Push Grasps. Ben Kehoe, Dmitry Berenson, Ken Goldberg. IEEE International Conference on Robotics and Automation. May 2012. Cloud Robotics: Connected to the Cloud, Robots Get Smarter Erico Guizzo. IEEE Spectrum. 2011. In June 2011, President Obama announced the U.S. National Robotics Initiative, earmarking over $70M for new research. CloudRobotics.com: ROS in Java for Robots using Android phones and tablets by Damon Kohler (Google Munich), 2011. RoboEarth - A World Wide Web for Robots Markus Waibel, Raffaello D'Andrea et al. , ETHZ, TUM, TU/e, 2011. Willow Garage and Google announce ROS Java Library for Cloud Robotics, 2011. Cloud-Enabled Humanoid Robots , James J. Kuffner. IEEE-RAS International Conference on Humanoid Robotics. 2010.
个人分类: Tech|8597 次阅读|0 个评论
“大数据、云计算，物联网、移动互联网” 的关系
lhj701 2014-11-19 23:32
“大数据、云计算，物联网、移动互联网”的关系 大数据、物联网、云计算、移动互联网是最近几年比较活跃的信息新技术，它们与互联网及自身 到底是什么样的关系呢？到底应该如何理解它们的发展趋势呢？ 本博文简单说说自己的观点，欢迎博友讨论指正。 在说它们的关系之前，先从互联网开始吧。互联网起源于上世纪60年代，说起来不到50岁，还属于中青年人。但互联网原本就是一条电线，无非连接了电脑，却改变了世界。而同样一条电线，连接的电话机，却是百岁老人。那为什么，同样一条电线，互联网改变了世界，原因主要有两个：一个是计算机可以算是一个模拟的人脑，而计算机后边是一个真正的人。如果你撇去中间的连线不要（包括无线连接），那么 互联网就变成人与人交互的一个接口，而这个接口，由于其将信息虚拟化了，因此可以认为，这种（人与人）的交互不受时间和空间限制。表现在时空上，交互的接口，已经不能区分是现时的还是历史的。但不论如何，互联网就是提供了一个人与人交互的接口，改变了整个世界，正如后文所述，这个接口实际上也可以看做是地球上人与人之间交互的“ 虫洞 ”。 如果从这个意义上讲，移动互联网与互联网最为接近。过去是一台电脑，一般是台式机，就待在一个固定的地方，当你想去互联网交互了，你跑到电脑前，打开电脑，上网，然后这个接口开始工作，你可以通过这个接口与你任何需要交互的对等虚拟的人，进行交互。 随着电子技术的发展，计算机硬件变小了、变快了，小到可以装在口袋中。过去计算器之类的就装在口袋中，买菜的随时掏出来，算算该跟你要多少钱。无线通信技术也发展了，无线电话也变小了，过去的半头砖大哥大，变得很小可以放到上衣口袋中了。然后无线网络逐步普及，3G、4G，未来的5G，也许将来速度快到几十G/s，比目前的4G快100倍，实现了人通过移动互联网接口随时找到虚拟的对等人，实现交互。 表面上看，移动互联网就是将电脑变小了，不用电线连接互联网，随时可以装在口袋中，随时可以上网。但是，由于移动互联网涉及人数居多，比如到2020年预计中国有8.5亿的用户，如果一个人赚取1000元，就是1万亿的市场规模了。所以说，貌似移动互联网没有多少技术性突破和变化， 但由于它把整个盘子变大了，因此相当于，如果你把所有地球人虚拟为两个人，他们在交互的话，相当于这两人嘴巴变大了，占了一个人的85%的身子，而这85%的大嘴巴，通过移动互联网牢牢的黏在一块，利用移动互联网实现交互 。 但到了物联网，事情有点变化了，那就是，物联网的野心更大了：它不再局限于人与人的交互，它把物体也扯了进来。或者说， 在一个物联网的广义世界，交互的对象关系变成：“人-人、人-物、物-人、物-物”这么几种了 。为什么会有这种变化呢？其实在互联网和移动互联网中，表面上人面对的是一台机器而已，但本质上还是以人的信息为主。而到了 物联网时代，将物体的信息加入了进来，多种交互形式的一个目的就是将人的控制向物理世界（各类物体）更加精细、准确的延伸出去，而“物-物”的交互，实际上是将人虚拟为物后，实现“虚拟人”之间的交互 。 但不论如何，互联网也吧、移动互联网也好，还是物联网，三者之间的关系是非常明显的，从字面就可以看出它们都有“网”，也就是说，都有一些能和电线（无线电波也是一些线啊）扯上关系，就是这些线，形成网后，然后“一网打尽”---所有能看到的“硬的”东西---电脑、笔记本、智能手机、智能物体。。。。 接下来就比较好说了， 大数据、云计算都是一些“软的”东西 。且慢，刚刚夺得世界四连冠的国科大“天河二号”超算机（33.86千万亿次/s的浮点运算）占地720平方米。但我们这儿说它俩“软”是相对于互联网、移动互联网和物联网而言，本质上，如果开始归一于交互的概念的话，不论主角是人还是物，与大数据和云计算的关联，仍然是通过网络这个看得见的交互接口---从使用者的角度讲，感兴趣的是交互这种体验，因此，从这个角度考虑下去， 云计算和大数据也是一种虚拟的“物”的综合体而已 。但这并妨碍讨论大数据和云计算的“软”的特性--因为对于它们而言，其可见的硬件只是一个形式，就如你看到手机看到电脑，你在乎的是作为接口的可交互性，你不会关心它有几个二极管、三极管和几个电阻、电容，电子在里面是怎么跑的，等等。 我们说大数据和云计算是“软”的，主要是强调它们“ 处理信息的计算性 ”。当然我们知道，不论互联网、移动互联网还是物联网，都有计算，都有信息，人也罢物也罢，上网（交互接口）就是交互信息。既然它们已经实现了信息交互，为什么还需要大数据和云计算的软能力负责信息呢？这是因为， 大数据和云计算是“信息的信息 ”。在大数据火之前，云计算就先热了，因为那时人就开始认为，信息要爆炸了，几十台机器哪能搞定？于是有了分布式计算，让更多的不在一个地方的计算机一起搞信息，就是“ 信息计算” 。 接下来的故事就简单多了，越来愈多的人上网了，越来越多移动手机上网了，越来越多的物体也上网了，接着问题就来了---当然，我们知道信息在物理形式上流动起来速度很快。但问题是，随着网络后边活跃的人啊、物体啊，越来越多，他们又不停的相互交互，产生了更多的信息，信息倒是没有将网络爆炸掉，但人类开始思考一个问题： 能不能利用这些不停产生信息、不停吸收信息的人和物的信息，产生二次信息？也就是“信息的信息” 。就似 在一个大海中，所有的鱼啊、珊瑚虫啊，都嘴巴一张一合的，一边吸入泡泡，一边吐出泡泡，能不能利用这些泡泡变出一个有需要的更大的泡泡？ 云计算和大数据就是想做这件事情。那么为什么叫云计算呢？估计当时有科学家想到了家里的自来水管，说：这个信息的信息，也就是二次信息呢，本质上讲呢就是一种服务（给人和智能物体了），既然是服务呢，一般人就不愿意去懂这“信息的信息”到底是咋鼓捣的，就似这自来水呢，你就是使用。想用时，开一下水龙头好了，水（信息）就流出来了。不过这个自来水呢，有水管子连过来，但 这个“信息的信息”呢，搁在哪里好呢，干脆搁在天上吧，既然你也不知道这信息是具体哪里的计算机算出来的，干脆就叫云计算吧，在空中飘来飘去也比较形象 。另外一个，云会变来变去，一朵一朵，会移动，信息根据需要进行整合利用，还会变成一大堆，也算比喻恰当。 那么既然有了云计算，为啥又来了个大数据呢？其实你从它们出现的先后时间上，就大致知道，大数据应该说对云计算有了更细化、进一步发展和递进的关系。说相同，应该都是提供“信息的信息”，但 云计算偏重单纯的计算技术，比如超算机，它们有很大的信息（数据）加工计算能力，但将信息加工完，吐出来就算完事了 。而 大数据应该侧重对用户的服务角度去整合资源，信息加工计算，提供信息服务，然后可以再回传信息，继续闭环加工，其根本目的在于围绕优质、有针对性的特定服务进行“信息的信息”处理。 从这个角度讲，可以说它其实可以依赖云计算的硬件基础来实现这些优质服务。由于 大数据以信息服务为中心，因此，它侧重信息的精细化加工，从而可以结合人工智能、神经网络、数据挖掘、以及有待发现的其它大数据处理新技术，使得信息加工组合的更彻底、更深刻、更精准，一句话：能够从海量的数据中找出我们需要的规律信息，能够从大海里把我们需要的那根针给捞出来供我们使用 。 故事到这儿基本上就讲完了，现在把他们串一下： 人类对于用电话线连接人，仅仅听到声音不过瘾，于是科学家异想天开用电线连接计算机，刚开始用来在电线上“嗖”的来回发信。没有想到人非常能，一台连两台，连啊连，把全世界的人都连了起来，发明的互联网交互信息。信息越来越多，在信息还没有成功爆炸前，把物体也拉了进来。 于是这个地球真的变小了，因为信息之对于人，速度快的也近乎“虫洞 ”。因此信息越来越多，科学家在没有看到信息真的爆炸前，突然想到， 既然这些信息都是地球人和地球物发出的，一定存在着某种关系、规律和制约，能够进行整化融合，于是将这些信息（海量），揉碎、筛选、融合、提炼，反正用了九牛⑧虎之力，然后通过网络，将“信息的信息的信息”弄到云里，然后反正谁爱用谁就用吧（人也可以，智能物体也可以） 。 至于现在发展到什么情况了，前景趋势当然没有问题了，但如果说与物联网、大数据和云计算真正发生威力相比，现在应该是V1.0版吧。
个人分类: 物联网|9830 次阅读|0 个评论
云计算基础知识
helloating1990 2014-9-13 18:32
云计算核心服务可以分为三个子层： （1）IaaS: 基础设施即服务层 ——提供基础设施部署服务，为用户提供实体或虚拟的计算、存储和网络等资源，数据中心是基础。 ——使用者上传数据、程序代码和环境配置 （2）PaaS:平台即服务层 ——云计算应用程序运行环境，提供应用程序部署与管理服务 —— 使用者上传数据、程序代码 （3）SaaS:软件即服务层 ——基于云计算基础平台所开发的应用程序 —— 使用者上传数据 ——对用户来讲，SaaS将桌面应用程序迁移到互联网，可实现应用程序的泛在访问。
个人分类: 大数据 云计算|1230 次阅读|0 个评论
小小的安卓，不一样的生活
xdcaxy2013 2014-8-7 13:28
现在我从事的是安卓开发方面的实习工作，我很佩服美国人，佩服google和apple，他们发明了安卓和ios，正因为如此，短短五六年时间，打败芬兰人引以为豪辉煌了十几年的诺基亚，包括它的塞班系统，我之前一直想学习 塞班，可是当我想了解它的时候，发现塞班已经快灭亡了。 android和ios似乎是“天生一对”，我不知这个词恰当不，因为他们面向的是两个不同的人群，一个面向高端消费，属于“高富帅”；一个面向中低端消费，属于“屌丝”。正好可以满足不同人的需要，这也许也是美国人的精明之处吧。话题扯远了，说起android，不得不说google公司，我很佩服这样的企业，他引领者人们的生活，无论是人们现在手里拿的安卓手机还是吵得很火的“云计算”这样的词，都是google提出的，它真正实现了“软件改变世界”的豪言壮语，不管我们 承认 不承认，世界事实确实如此。 “Android一词的本义指“ 机器人 ”，同时也是 Google 于2007年11月5日 宣布的基于 Linux 平台的 开源 手机操作系统的名称，该平台由 操作系统 、中间件、 用户界面 和 应用软件 组成。 Android一词最早出现于法国作家利尔亚当（Auguste Villiers de l'Isle-Adam）在1886年发表的 科幻小说 《 未来夏娃 》（ L'ève future ）中。他将外表像人的机器起名为Android。”
2375 次阅读|0 个评论
推荐《数据中心资源优化调度：理论与实践》一书
wtian 2014-6-30 22:18
该书已由电子工业出版社2014年4月出版。 以下是其封面、前言和目录： 封面 前言 “经过精细规划的优化理论设计的实践比随意性或一般性实施在性能、节能以及提高运营利润等方面可体现高出多个量级的效果，并不断接近或达到最优化结果。” 云计算是一种计算模型和服务模式，它将计算任务分布在大量计算机构成的不同数据中心，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。提供资源的网络或数据中心被称为“云”。业界研究者将云计算列为水、电、气、油之外的第五种公用资源（ the fifth utility ）。继个人计算机变革、互联网变革之后，云计算被看做第三次 IT 浪潮，是世界和中国战略性新兴产业的重要组成部分，它将带来生活、生产方式和商业模式的深刻改变，已成为当前全社会关注的热点。 云计算目前已经广泛应用于网络搜索、科学计算、虚拟环境、能源和生物信息等领域的日常业务和创新性探索。 IDC 预测，未来 4 年中国云计算将产生 1.1 万亿元的市场。赛迪顾问 2010 年底的《中国云计算产业发展白皮书》预测未来 3 年，云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点，在中国市场逐步被越来越多的企业和机构采用，市场规模也将从 2009 年的 92.23 亿元增长到 2012 年的 606.78 亿元，年均复合增长率达 87.4% 。该报告预计中国云计算产业发展将分为准备阶段（ 2007 — 2010 年）、起飞阶段（ 2011 — 2015 年）和成熟阶段（ 2015 年以后）。 不少研究预言“将来的核心竞争在数据中心”。数据中心是容纳计算设备资源的集中之地，同时负责对计算设备的能源提供和空调维护等。数据中心可以单独建设，也可以置于其他建筑之内 , 还可以是分布在不同地理位置的多个系统。云资源汇聚在一起，通过多租户模式服务多个消费者。在物理上，资源以分布式的共享方式存在，但最终在逻辑上以单一整体的形式呈现给用户。资源种类很多，分类角度也不一样，本书所涉及的资源主要包括以下几类。 l 物理服务器：构成数据中心的物理计算设备，每个物理服务器可以提供多个虚拟机，每个物理服务器可以由多个 CPU 、内存、硬盘、网卡等构成。 l 物理集群：由多个物理服务器、必要的网络和存储设施构成的物理服务器组。 l 虚拟机：通过虚拟化软件在物理服务器上生成的虚拟计算平台，可以由多个虚拟化 CPU 、硬盘、网卡等构成。 l 虚拟集群：由多个虚拟机、必要的网络和存储设施构成的虚拟机组。 l 共享存储：为数据中心的计算资源提供大容量存储，可以被所有设备和应用共享。 以上数据中心资源在本书中统称为基础资源，简称云资源。 云资源优化管理调度技术是云计算应用的核心，是云计算得以大规模应用和提高系统性能、兼顾节能减排及运营成本利润等方面的关键技术。先进的动态资源调度管理，对于提高学校、政府、研究机构和企业计算资源的利用效率，节约能源，提高资源共享和降低运营成本都具有极大意义，值得深入系统地学习和研究。 资源管理调度是将资源从资源提供方分配给用户的一个过程。对于资源过载（即需求大于系统容量），以及需求与容量随着时间的推移而动态变化的事实，通过优化资源调度管理，可以动态地重新分配资源，以便更高效地使用可用资源。业界一般将调度分为作业级调度和设施级调度。作业级调度是指针对具体的运行程序，系统将作业具体分配到哪些资源上运行的问题。例如，一些独立的需要较多计算资源和较长运行时间的程序，或者高性能并行处理程序，这些程序往往需要较大规模的高性能计算资源（如云计算）才能很快完成。设施级调度主要指将底层资源作为一种基础设施服务（ Infrastructure as a Service ， IaaS ）提供给用户 , 用户依据实际情况使用这些资源。例如，数据中心的物理服务器（含 CPU 、内存、网络带宽等）、虚拟机（含虚拟化的 CPU 、内存、网络带宽等）及虚拟集群都属于底层基础资源。 本书侧重于设施级（也称应用级）调度，同时兼顾作业级调度（如 MapReduce 多任务），并介绍资源动态优化管理与调度。如果把数据中心作为一个整体与人体比较，资源优化管理调度类似人的大脑，是最为核心的功能之一，具有极大的理论意义和实用价值。另外，资源监控类似人的眼睛，资源部署类似人的四肢。目前的数据中心管理与调度大多仅实现了简单的初级功能，还有很多问题亟须深入系统解决。针对基础资源优化管理调度，主要回答以下三大基本问题。 l 优化目标问题：将所需的虚拟机（或虚拟集群）配置在某个数据中心物理服务器（或物理集群）的具体优化函数（目标）是什么？如何建立高效的数学理论优化模型？这涉及宏观的管理策略制定。 l 优化分配问题：具体在哪个数据中心的哪个物理服务器上（或物理集群）分配所需的虚拟机（或虚拟集群）以实现优化目标？满足的具体前提和限制条件有哪些？针对不同的优化目标，业界优化实践方案有哪些？ l 实践性能问题：针对理论优化目标与模型，业界优化管理调度方案的性能对比效果如何？如何选择适合不同目标的具体方法？ “没有理论的实践是盲目的，没有实践的理论是苍白的。”从优化和长远的角度来看，云计算的建设需要坚实的理论与实践经验的结合，我们发现经过精细规划的优化理论设计的实践比随意性或一般性实施在性能、节能以及提高运营利润等方面可体现高出多个量级的效果，并不断接近或达到最优化结果。经过多年的数据中心建设的实践和理论探索，我们在本书中提出并总结相关领域的优化理论模型和实践方法，在解决基本问题的同时，实现动态调度而不是静态预先完全设定相关参数，兼顾资源（ CPU 、存储、网络等）的性能、热耗、利用率等特性，本书称之为资源的动态综合调度技术问题。 数据中心需要处理物理和虚拟资源的动态结合的优化管理调度这一新问题，以实现高性能、节能减排及降低投资等目标。当前数据中心的资源调度不少仍然沿袭传统方法，较为简单化，难以满足以上目标的精细化和动态变化的要求。数据中心调度面临的挑战性问题包括：在考虑配置动态可调虚拟机的分配和迁移以及物理机综合性能，同时兼顾 CPU 、存储、网络等资源因素而非单一因素的情况下 , 如何解决用户需求不一致和资源规格不一致造成的系统性能不平衡、能耗效率低下及成本过高等问题。 本书围绕以上关键问题展开，介绍了主要云服务提供商的相关解决方案和国内外研究现状，以及对以上挑战性问题的理论与实践探索，希望为读者深入了解相关知识内容和有兴趣的研究人员提供一些借鉴。 本书各章之间的关系紧密围绕云资源优化管理调度展开，如下图所示。本书主要内容包括云计算概述（第 1 章）、数据中心（第 2 章）、大数据处理（第 3 章）、云资源监控管理（第 4 章）、实时负载均衡调度（第 5 章）、节能调度概述（第 6 章）、离线和在线节能调度算法（第 7 章）、 Hadoop 集群节能调度管理（第 8 章）、计算资源的利润（第 9 章）、云工作流应用 ( 第 10 章 ) 、数据中心调度模拟系统（第 11 章），以及总结与展望（第 12 章）。本书可作为高年级本科生和研究生教材，也可作为相关专业研究人员的参考资料。 目录： 目 录 第1章 云计算概述 ·· 1 1.1 云计算发展背景 ·· 2 1.2 云计算是集大成者 ·· 4 1.2.1 并行计算 ·· 5 1.2.2 网格计算 ·· 6 1.2.3 效用计算 ·· 7 1.2.4 普适计算 ·· 7 1.2.5 SaaS · 8 1.2.6 虚拟化技术 ·· 8 1.3 云计算的驱动因素 ·· 9 1.3.1 云计算发展现状和趋势 ·· 11 1.3.2 云计算应用初步分类 ·· 14 1.4 云计算产业链中的不同角色 ·· 16 1.5 云计算的主要特征和技术挑战 ·· 17 1.5.1 云计算的主要特征 ·· 17 1.5.2 挑战性问题 ·· 18 1.6 小结 ·· 19 思考题 ·· 20 参考文献 ·· 20 第2章 数据中心 ·· 22 2.1 数据中心概述 ·· 23 2.1.1 数据中心简介 ·· 23 2.1.2 数据中心的需求和挑战 ·· 24 2.2 云计算数据中心资源调度需求分析 ·· 25 2.2.1 技术需求 ·· 25 2.2.2 技术目标 ·· 27 2.3 云计算数据中心资源调度研究进展 ·· 28 2.4 云计算数据中心资源调度方案分析 ·· 29 2.4.1 Google 解决方案 ·· 29 2.4.2 Amazon 解决方案 ·· 30 2.4.3 IBM 解决方案 ·· 32 2.4.4 HP 解决方案 ·· 34 2.4.5 VMware 解决方案 ·· 36 2.4.6 其他厂家解决方案 ·· 37 2.5 云计算数据中心资源调度标准进展 ·· 39 2.6 云资源管理调度关键技术及研究热点 ·· 41 2.7 小结 ·· 44 思考题 ·· 44 参考文献 ·· 44 第3章 大数据处理 ·· 46 3.1 大数据的发展背景及定义 ·· 47 3.2 大数据问题 ·· 50 3.2.1 速度方面的问题 ·· 51 3.2.2 种类及架构问题 ·· 52 3.2.3 体量及灵活性问题 ·· 52 3.2.4 成本问题 ·· 53 3.2.5 价值挖掘问题 ·· 54 3.2.6 存储及安全问题 ·· 54 3.2.7 互连互通与数据共享问题 ·· 56 3.3 大数据与云计算的辩证关系 ·· 57 3.4 大数据技术 ·· 58 3.4.1 基础架构支持 ·· 60 3.4.2 数据采集 ·· 62 3.4.3 数据存储 ·· 63 3.4.4 数据计算 ·· 67 3.4.5 数据展现与交互 ·· 75 3.5 小 结 ·· 77 思考题 ·· 78 参考文献 ·· 78 第4章 云资源监控管理 ·· 82 4.1 云数据中心监控系统概述 ·· 83 4.1.1 研究背景 ·· 83 4.1.2 云数据中心资源监控的方式 ·· 85 4.1.3 虚拟机监控简介 ·· 86 4.2 云数据中心监控系统的相关研究 ·· 89 4.2.1 云数据中心监控系统的功能需求分析 ·· 89 4.2.2 实现云监控系统的关键技术 ·· 92 4.3 云数据中心计算资源监控系统的设计与实现 ·· 96 4.3.1 云数据中心计算资源监控系统的设计 ·· 97 4.3.2 云数据中心计算资源监控系统的实现 ·· 101 4.4 云数据中心监控系统数据分析 ·· 108 4.4.1 用户请求展示 ·· 108 4.4.2 用排队论分析用户请求 ·· 109 4.4.3 云数据中心的功耗计算 ·· 110 4.5 云资源监控系统的性能分析与评价 ·· 113 4.6 小结 ·· 120 思考题 ·· 121 参考文献 ·· 121 第5章 实时负载均衡调度 ·· 124 5.1 引言 ·· 125 5.2 相关工作 ·· 126 5.2.1 示 例说明 ·· 126 5.2.2 问题描述和模型建立 ·· 127 5.2.3 负载均衡调度算法的度量指标 ·· 129 5.3 OLRSA 算法 ·· 131 5.4 算法性能比较 ·· 134 5.4.1 模拟设置 ·· 134 5.4.2 模拟仿真的结果和分析 ·· 135 5.5 小结 ·· 141 思考题 ·· 142 参考文献 ·· 142 第6章 计算资源节能调度概述 ·· 144 6.1 数据中心节能研究背景 ·· 145 6.1.1 国内外研究背景介绍 ·· 147 6.1.2 国内外主要参考文献 ·· 148 6.2 数据中心能耗模型 ·· 151 6.2.1 数据中心调度系统 ·· 151 6.2.2 数据中心能耗评估 ·· 152 6.2.3 服务器能耗模型 ·· 153 6.3 节能问题描述与建模 ·· 155 6.3.1 前置条件 ·· 155 6.3.2 主要节能调度算法分类 ·· 156 6.4 离线调度算法 ·· 158 6.4.1 同构且请求容量为单位容量 ·· 158 6.4.2 同构且请求容量为任意容量 ·· 159 6.5 在线调度算法 ·· 160 6.6 随机调度算法 ·· 160 6.6.1 M/M/1 排队模型 ·· 160 6.6.2 M/M/k 排队模型 ·· 160 6.7 节能调度算法评估 ·· 161 6.7.1 理论分析证明 ·· 161 6.7.2 模拟对比分析 ·· 162 6.8 小结 ·· 170 思考题 ·· 171 参考文献 ·· 172 第7章 计算资源节能调度概述 ·· 175 7.1 离线节能调度算法 ·· 176 7.1.1 MFFDE 算法分析 ·· 176 7.1.2 MFFDE 算法的近似度证明 ·· 177 7.2 在线节能调度算法 ·· 180 7.2.1 BFF 算法分析与近似度证明 ·· 180 7.2.2 BFF 算法性能评估 ·· 185 7.3 MinTBT 问题及节能调度算法在数据中心节能中的应用 ·· 189 7.4 小结 ·· 190 思考题 ·· 190 参考文献 ·· 190 第8章 计算资源节能调度概述 ·· 192 8.1 Hadoop 介绍 ·· 193 8.1.1 Hadoop 简介 ·· 194 8.1.2 Hadoop 框架 ·· 195 8.1.3 Hadoop 运行流程 ·· 197 8.2 新型动态负反馈调度算法 ·· 198 8.2.1 Hadoop 集群动态管理设计特点 ·· 198 8.2.2 负载模型设计 ·· 199 8.2.3 DANF 算法设计与实现 ·· 200 8.2.4 动态调度模块算法伪代码 ·· 202 8.3 节能调度系统设计 ·· 203 8.3.1 系统总体架构 ·· 203 8.3.2 模块详细设计 ·· 204 8.4 系统测试和分析 ·· 207 8.4.1 测试环境 ·· 207 8.4.2 程序功能性测试 ·· 207 8.4.3 性能测试 ·· 208 8.5 Hadoop 其他节能方式 ·· 212 8.6 小结 ·· 213 思考题 ·· 213 参考文献 ·· 213 第9章 计算资源的利润 最大化问题 ·· 216 9.1 计算资源作为服务的利润最大化 ·· 217 9.1.1 云计算与数据中心 ·· 217 9.1.2 数据中心的发展 ·· 220 9.2 传统的最大化利润解决方法 ·· 221 9.2.1 经典的 0-1 背包问题 ·· 221 9.2.2 动态规划法 ·· 221 9.2.3 贪婪算法 ·· 222 9.2.4 回溯法 ·· 222 9.3 区间调度问题介绍 ·· 223 9.4 带权区间调度 ·· 224 9.4.1 传统的带权区间调度问题 ·· 224 9.4.2 WIS 中的可相互兼容区间 ·· 224 9.4.3 带权区间调度问题 ·· 225 9.5 考虑容量共享的带权区间调度 ·· 227 9.5.1 考虑容量共享的带权区间调度问题 ·· 227 9.5.2 WISWCS 问题中可相互共享兼容的区间 ·· 227 9.5.3 WISWCS 问题中的容量分割 ·· 227 9.5.4 WISWCS 问题中的权值与容量成比例 ·· 228 9.5.5 最大化利润的公式 ·· 229 9.5.6 一种考虑容量共享的准确调度算法 ·· 230 9.5.7 用 SAWIS 算法找出最佳子集 ·· 231 9.6 可共享容量调度问题的应用 ·· 233 9.6.1 云计算中的虚拟机调度 ·· 233 9.6.2 通信链路共享 ·· 233 9.6.3 性能评估 ·· 234 9.7 相关工作 ·· 235 9.8 小结 ·· 236 思考题 ·· 236 参考文献 ·· 236 第10章 云工作流应用 ·· 238 10.1 科学计算云平台研究背景 ·· 239 10.2 工作流和云平台集成的相关研究工作 ·· 241 10.3 科学计算云平台的结构化方案 ·· 242 10.3.1 需求 ·· 242 10.3.2 架构 ·· 243 10.3.3 集成选项 ·· 244 10.3.4 实现细节 ·· 248 10.4 科学计算云平台集群配置和产品部署 ·· 252 10.4.1 MODIS 图片处理工作流 ·· 252 10.4.2 产品部署 ·· 256 10.5 小结 ·· 258 思考题 ·· 259 参考文献 ·· 259 第11章 数据中心调度模拟系统 ·· 263 11.1 引言 ·· 264 11.2 CloudSched 的架构和主要特点 ·· 265 11.2.1 数据中心的建模 ·· 268 11.2.2 虚拟机分配的建模 ·· 268 11.2.3 用户请求建模 ·· 269 11.3 不同调度算法的性能度量 ·· 270 11.3.1 多维度负载均衡的度量 指标 ·· 270 11.3.2 节能算法的度量指标 ·· 272 11.3.3 种最大化资源利用率的度量指标 ·· 273 11.3.4 置信区间的度量 ·· 273 11.4 CloudSched 的设计与实现 ·· 274 11.4.1 数据中心的调度过程 ·· 274 11.4.2 调度算法——以 LIF 算法为例 ·· 274 11.5 性能评估 ·· 277 11.5.1 储器负载均衡比较 ·· 278 11.5.2 节能效果比较 ·· 279 11.6 小结 ·· 280 参考文献 ·· 281
6907 次阅读|0 个评论
[转载]方物软件助力电子政务云顶层设计
muchlab 2014-4-29 13:58
2 月24日，中央网络安全和信息化领导小组组长强调“没有网络安全，就没有国家安全；没有信息化，就没有现代化”。《国家电子政务“十二五”规划》，明确要求“建设完善电子政务公共平台。完成以云计算为基础的电子政务公共平台顶层设计、全面提升电子政务技术服务能力、制定电子政务云计算标准规范”。 近日，大连航远科技发展有限公司通过新闻得知，工业和信息化部组织基于云计算的电子政务公告平台技术发展研讨会，国家信息化专家委员会杨国勋副主任、工业和信息化部 信息化推进司章处长等各位电子政务业界领导和专家做了主题演讲。通过研讨会，我们学习到有关电子政务云顶层设计的四个方面，一是设计目的：利用现有信息化基础资源，集约建设提高基础设施资源利用率；二是设计方向：转变电子政务建设和服务模式，从建设转向“使用服务”；三是设计原则：统一领导，分级实施；统一建设，资源共享；统一管理，保障安全；统一服务，注重成效；四是设计内容及重点：需求设计、系统架构设计、基础设施服务设计、支撑软件服务设计、应用功能服务设计等十个部分。 为推进电子政务公共平台建设应用、提升电子政务技术服务水平，方物软件积极参与首批国家基于云计算电子政务公共平台试点单位顶层设计。与方物软件合作的大连航远科技发展有限公司也为这次方物软件参与试点感到高兴。着眼长远，统筹规划。虚拟化是云计算的核心技术，在放大资源支撑能力、创新的建设和服务模式等方面的特点，使云计算成为新型电子政务建设的基础技术架构。以用户需求为导向，充分发挥云平台优点，以降低成本、加快进度、减少TCO、强化管理、提供面向社会的公告服务。 方物虚拟化参与的顶层设计贯彻IT软硬件系统，以政务需求导向拉动信息化集约资源池建设，对密集信息交互进行层级关联，对弱连接数据进行相关解耦，横向成池、纵向成域，聚焦体验IT，提供从数据中心到桌面的端到端完整解决方案。大连航远科技发展有限公司也致力于这种解决方案的研究，以真诚的服务为广大客户提供网络安全解决方案。 自主可控，中国政务国产化进程从未停歇，数据安全着眼传输中的数据、存储中的数据、处理中的数据，硬件设备囊括机房服务器、存储、网络、安全、认证等各个门类，软件架构依托虚拟化平台枢纽，数据库、中间件、架构及组件级国内厂商迅速发展，电子政务生态环境日趋成熟。大连航远科技发展有限公司也认为数据安全是重中之重。在关乎国计民生的事业上，方物人孜孜不倦，勤勤恳恳，自家产品和技术历经近十年的市场洗礼，更踏实的为我国信息化建设添砖加瓦，电子政务云的春天已经来到。大连航远科技发展有限公司作为方物软件的代理商竭诚为广大客户提供安全优质的网络解决方案。
65 次阅读|0 个评论
[转载]云计算让你更安全并不是谬论
热度 1 muchlab 2014-4-23 13:48
云计算可以让你更安全，是否听起来有点荒谬。的确，随着一次又一次的数据泄漏，黑客攻击，以及云宕机，如亚马逊云计算宕机、Dropbox认证技术一片混乱，这些种种云安全问题确实有点让人心寒了。但你不能就因为这就否定云技术。历史上的任何一次变革成功之前，不都经历了无数的失败，跨跃了无数障碍吗。 随着时间的推移，云计算必将比内部管理还要安全，无论你信不信，反正我信了。那么我们来看看云计算教练Peter HJ van Eijk是如何解释的。 首先，好的云厂商会更好 随着这些云厂商招聘越来越多的员工，他们应有了更多的员工可以进行安全方面的工作。另外，随着经济规模的增大，就允许他们维护更多的安全流程。从本质上讲，安全工作人员都有些偏执，有些更甚。在Peter最近指导的一个云安全培训中，有一位培训者为了培训专门创建了一个亚马逊web服务帐户。当在培训结束后，他就完全终止这一帐户。在培训结束之前，他向Peter展示了他智能手机上的一条信息。在他终止帐户后的了小时，他的领英页面有了来自于亚马逊合规部门的访问。显然，他的行为遭到了质疑。由此可见云厂商在安全方面所做的措施也是很强大的。 另外一个例子是，你的IT部门是否跟踪了流氓资源利用，或者是凭证泄漏很有条理？但云厂商有为你做这一工作。 其次，特殊情况特殊对待--安全即服务 前面的例子显示了云厂商比一般的IT部门做的更好，尤其是在特殊领域中的特殊服务，某些方法都具有超前的竞争性。现在称作安全即服务，或SecaaS，这一趋势的根源可能要追溯到很久以前了。基本思想还是大量的安全功能以更好的方式进行，即通过利用云计算所赋予的属性，如弹性扩展能力和资源池。 ecaaS的例子，你可能熟悉或实际使用这些：垃圾邮件和恶意软件过滤、黑名单和其他声誉服务、DDoS缓解和监控（即性能）。我们还看到公司使用了云服务作为灾难恢复策略的一个组件。创新在这一领域表现非常强大。 总之，市场正在接近一个“临界点”，云实际上可能比内部管理更安全。
81 次阅读|1 个评论
假日聚会，戏说云物人海
热度 19 tangchangjie 2014-2-8 14:39
假日聚会，戏说 云物人海（唐常杰） 假日中朋友圈办了一次双自 聚会（自带自助），朋友们带上自己的拿手菜品，在客厅共享共赏，共品共评；当菜品刚上齐，朋友们都拿出手机拍照，通过微博、微信发到社交圈子，与未出席的和在路上的亲友共享。 看到此情此景，我说了一句：年年聚会有新事，去年聚会，进门就问WiFi（参见博文 《 带个WiFi去串门 》）， 今年各位都在为大数据增砖添瓦。殊不知， 这一句引出了新话题，朋友们要求在餐桌旁科普大数据。 扫描客厅，听众年龄8-83岁，来自士农工商，背景颇杂。要科普到深者见深，浅者见浅，还真不容易。看来，必须两多两少：多用图、多用比喻（易懂）、少讲，少展开，只讲四个热字--云、物、人、海（易记）。 打开手机上的OneNote（Office软件之一），作了一次“云办公”, 浏览了存在微软云服务器SkyDrive上的几张图，选示了如下的普适计算学术会议会场外景（2012）： 传看这幅对联后，对“ 云、物、人、海“这四个热字作了解释： 云 ---云计算 （云中心，云服务，云终端，云存储…)，其基本思想是“你有事，我们（云）帮你做”, 发端与明朝万历二年的镖局业，宗旨是”你的货物，我们帮你运“，这是最早的云企业：稍后一点的钱庄银行，把云企业思想发挥的更加淋漓尽致： 如今，“你有数据，我们（云）帮你存”,就是云存储，“你有事务，我们（云）帮你处理”,就是云计算，在场多数朋友看过笔者三年前写的两篇博文（ 云计算漫谈《 网上流行云计算 》， 《 天边飘来几朵计算的云》 ）点头表示理解。 　　 物—物联网 (传感网.车联网，智慧城市，…)，在场朋友较熟悉的传感器可能是鼠标和触摸屏(感知意图 ）、摄像头（视觉），耳机麦克（听觉），以及空调冰箱中的温度传感器。如今，世界上 有数以百亿计的传感器、射频标识（ RFID），以及智能卡等传感器件。当 “大量传感器 + 无线网 + 每物有IP ”，就构成了物联网，奠定了普适计算的基础。 物联网给用户一种新的感觉--- 冥冥中有计算之神相助。 　　西游记中描述了传感器 部署的 两种方式 ：(1)定点部署，如各方“土地”（也是一类小菩萨），源源不断把唐僧师徒四众和妖魔鬼怪的信息反馈给观音菩萨；(2) 移动部署（如四值功曹、五方揭谛、六丁六甲、护教伽蓝） ，其中四值功曹、五方揭谛像今天的无人侦察机，而六丁六甲、护教伽蓝像攻击性无人机。 当 唐僧的凡 马被小白龙吃掉，孙悟空和小白龙打斗时候，他们临时主担了唐僧的保镖 的任务. 而悟空头上的紧箍中，不但有张力传感器，还有语音传感 ，有能对紧箍咒作深度理解的嵌入式器件。 原来，法力无边的如来佛和观音菩萨也有一个物联网。 看来， 在想象力和思路层面， 物联网的知识产权， 也有西游记作者吴承恩的那一份。 　　 人 --- 社交网络 （人人网、微博, 微信，学术界的LinkedIn,…）,社会计算，舆情分析等。各位朋友餐桌上照相发微信微博，就是参与社交，参与社交网络；网上有一说法， 目 前， 世界上70亿人，移动设备至少20 亿台（其中安卓设备10亿台）， 参与着社会网络，社交网络是大数据处理的重要对象。 海— 海量数据，大数据，大数据挖掘 。“云”为大数据准备了的支撑，“物”和“人”既是大数据的生产者，也是大数据的消费者。当“物”和“人”都用数字方式制造和贡献数据，为大数据增砖添瓦时，大数据时代就到来了。 行内常说大数据有四大特点，即：一大（数据量大）、 二多（数据类型多）、 三快（要求处理快）、 四值(价值大而密度低)。这些都容易顾名思义，了解大致概念。 笔者想再加第五条，五宏（宏观），规范的大数据研究旨在宏观规律，一般不针对个人，不侵犯隐私。 认识规律是为了世界更美好 央视和百度联合的“数据说春节”，在社交网络软件（微博、微信、地图、旅行软件）收集的数据集合上进行挖掘， 展示了春运中人流的宏观趋势或统计规律。 宏观知识很有用，管理者知道了，可以更好调度春运资源，个人知道了，可以趋疏避密，出行方便。 大数据是相对概念 小时候觉得好高好的山， 现在去看，不过一个小山坡； 小时候 觉得好大好宽的礼堂， 现在去看，原来是个小建筑。小孩比划一个大西瓜时，会十分夸张，是因为小孩的力量小，见识少。 N年前，好多朋友在第一次买1G的硬盘后，以为， 1G相当于5亿汉字，用于 存储 个人数据， 一辈子都够了。殊不知。才过几年，观念大变，如今。谁的照相机不装上2G、4G，甚至16G的卡？ 多数朋友手机、平板电脑扩展卡都是16G，32G，甚至64G。 哈工大李建中教授是关于海量数据的973项目首席科学家，他给大数据下过一个很好的定义 ，大意是，数据量大到当前资源（计算机、时间，算法）不能有效处理时，那个数据就是（相对于当前资源的）大数据。 大数据长葆青春 城市汽车的增长有个现象，路有多宽，就会挤满多少车，汽车一直增长到道路拥挤得开不动。据说，若干年内，城市交通都会保持这个现象； 同理，数据增长会随着处理（ 存储、分析挖掘）的增长而增长，有更多的处理能力，就会有更多的数据，一直增加到处理不了。 以社会网络为例，世界上70亿人，目前，由人的社交活动而大规模产生的数据还只是“小荷才露尖尖角”，随着物资水平、技术水平和文化水平的提高，社交数据会加加速地增长。相当长的时间内，其增长速度会超过处理能力的增长。 结合李建中 教授的定义，得到一个推论：大数据来到了人间，就不想走了， 大数据研究也会长葆青春。 这对研究大数据，处理大数据，应用大数据的人都是好消息。 相关博文 1 “被打”和“北大” 的关联 --- 趣味数据挖掘系列之 一 2 烤鸭、面饼和甜 面酱之朴素关联 --- 趣味数据挖掘系列之二 3 一篇它引上万的大牛论文与数据血统论-- 趣味数据挖掘之 三 4 巧挖科学博客之均击量公式，兼谈干预规则 ---- 趣味数据挖掘之四 5 听妈妈讲 过去的故事，分房与分类 ----- 趣味数据挖掘之五 6 借水浒传故事，释决策树思路--- 趣味数据挖掘之六 7 宴会上的聚类 — 趣味数据挖掘之七 8 农村中学并迁选址、K-平均聚类及蛋鸡悖论--趣味数据挖掘之八 9 灯谜、外星殖民、愚公移山和进化计算 --- 趣味数据挖掘之九 10 达尔文、孟德尔与老愚公会盟：基因表达式编程--趣味数据挖之十 11 十大算法展辉煌，十大问题现锦绣---趣味数据挖掘之十一 12 数据挖掘中的趣味哲学 --- 趣味数据挖掘之十二 网上流行云计算 --云计算漫谈之一 天边飘来几朵计算的云 ---云计算漫谈之二 假日聚会，戏说云物人海 大数据 与 马航MH370 其它系列博文的入口 唐常杰博客主页 学博客主页
个人分类: 科普札记|18232 次阅读|41 个评论
Constructive View on Cloud Computing
emmthesqui 2014-1-7 01:56
Cloud Computing, which is a new type of computing model, although doesn’t have a long history, is being developed and promoted by megascale IT companies as Google, Apple, IBM, Microsoft and various institutions at a tremendous pace. As a new kind of technology being shaped, the development and standardization of Cloud Computing has caused broad attention and debate among academia, business world, as well as government. How do we understand the heart of the debate? Traditional technology determinism presumes that as a result of research, the development of technology itself follows a predictable, traceable path largely beyond cultural and political influence. But take a look at the issue of Cloud Computing, apart from technical difficulties, many problems lie in social dimension surrounding the concept of Cloud Computing. The concept of “Cloud Computing” is somehow obscure to users. For example, according to Google, Could Computing is an online data storage platform and telecommuting infrastructure displayed in the form of webpages. But when it comes to Apple, “cloud” becomes invisible to users. By creating an account, documents and files are synchronized unconsciously among devices as iPhone, iPad and Mac. In other cases, it means a certain kind of online document-sharing applications like “Dropbox”, etc. Almost all of these main promoters of cloud computing have their unique understanding of this technology under their own perspective. The process of standardization directly points to the profit of the companies. Besides, State policy and administration might be involved as well. Early during the birth of the Internet, the internet society demonstrated a character of decentralizing. With the development of new internet technology, users come to realize that although the information and communication power is still widely separated by individual units, the data itself show a trend of centralizing, large amount of data are stored in the server (you can also say cloud). Francis Bacon has a famous saying that “Knowledge is power”. In the era of “big data”, the centralizing of data enhances the systemization of the whole society. We can conclude that those who commands data also holds power. New technology is serving not merely as tools, but rather public utilities and infrastructure of the society. The relationship between technology and society cannot be reduced to a simplistic cause-and-effect formula, which is new forms of technology are created in the labs, and then it comes to market and influence the society. It is rather an intertwining. In many cases, the leading force of technology development might no longer be merely researchers; Users, companies and even the state all take part in the formation of new technology, thus rises an important question, to whom should we give the right of leading the development of a new technology? We should not neglect the political value imbedded in the formation of new technology. This may lead to the new perspective in technology and innovation management to acquire the dynamic balance in future relationship between technology and society.
2171 次阅读|0 个评论
再说云计算时代的“超算中心”建设
热度 1 lzj6189 2013-12-30 20:36
前些年，写过关于“超级计算中心”的一点想法，当然很不成熟［给“超算热”泼些冷水 http://lzj6189.blog.163.com/blog/static/6243782720101123433755/ ］。虽然时间不长，却不幸被言中。沿海一线城市已经陆续显现出对“超级计算中心”今后发展的更深层面的思考：超算中心要抓住当前的机会，即解决自身的发展问题，又解决政府问题，既有市场前景，又能和政府想做的事情结合起来［ http://www.ssc.net.cn/ZXDTinfo.aspx?id=316 ］。前面的人已经感受到了转型的紧逼性，后来者却依然还在要挤进去。在云计算、大数据时代，后来者是不是更应该换个角度、思路，想想今后能干什么，该怎样干，想好了才去干。不然，是否会被“ OUT ”的了。　 前些天，在微博中看见北京超算科技公司［ http://www.supcompute.com/ ］，留了一条：发展超级计算中心得烧钱，没有核心技术，想活下去就得继续烧下去，没完没了，看别人脸色行事；不如超算科技，专注自主软件开发，艰辛，但活得潇洒。扶植自主数值模拟软件产业是干市场干不了或不想干的事情，政府多些关切是正道。 祝福他们！希望更多的人关注他们。在众多的扶持新兴产业规划中，给自主ＣＡＥ软件产业一席之地！
3416 次阅读|2 个评论
1 ...67891011121314下一页

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-2 12:54

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部