科学网

 找回密码
  注册
科学网 标签 云计算 相关日志

tag 标签: 云计算

相关日志

要那么多自动化干什么?(120201)
热度 4 ymin 2012-2-1 11:34
要那么多自动化干什么?(120201) 闵应骅 早在我搞铁路驼峰自动化的时候,就听人家说:搞自动化干什么?铁路驼峰编组站是要把一列火车的车厢按不同目的地分解,然后按相同目的地重组。在车勾分解的时候就需要在适当的地方制动。过去,都是工人用铁鞋把车厢的轮子挡住。由于力量很大,夜间你可以看到火花四射。工人必须特别小心,不然很危险。每勾车都要制动,而且要三班倒,所以,制动工人很多。自动化以后,这些工人就失业了。这个事例说明:越是自动化,失业工人就越多,失业率就增加。我不是说自动化不好,我是说自动化也有副作用。 后来,有了智能家居。说是主人在汽车里就可以开家里的电饭锅煮饭。这个人时间够宝贵的,几秒钟都要省。省下这些时间,你想干什么?你想干的那事是不是也已经自动化了。 最近,有所谓谷歌云控制的机器人。机器人看见你掀开床单,就问:早餐香肠有多种,你要哪一种?然后帮他到衣柜里找衣服。这些事,它来帮你,你烦不烦?其实,它就是无线网、传感器和执行机构,在云的控制下进行的。当你睡下,它会做一个枕巾的广告,告诉你该换什么样的枕巾。这些锁碎的事它都管。Intel出了一个近云(Near Cloud),它帮助这机器人做事少说。 不管怎么说,厂家总是想办法出些新主意,让顾客买他的新东西。但是,顾客应该想一想,我买这新东西到底有什么用,用不用得着,或者是不是增加更多的麻烦?
个人分类: 网络|4702 次阅读|7 个评论
胡春华 吴泉源 汪斌强
jiangdm 2012-1-10 15:12
胡春华 吴泉源  汪斌强
contents 1 胡春华 云计算环境下基于信任演化及集合的服务选择 云计算中基于SLA 的服务可信协商与访问控制策略 2 吴泉源 事务处理技术研究综述 网络计算中间件鸟瞰 一种P2P信任管理安全性协议 一种基于反馈可信度的分布式 P2P 信任模型 一种基于广义随机Petri网的Web服务组合性能预测模型 3 汪斌强 逻辑承载网构建方法的研究 基于构件运算的可重构系统代数模型 基于构件的层次化可重构网络构建及重构方法 可重构柔性网络资源管理与服务映射方法研究 基于可重构路由单元的软件构件描述语言研究与设计 1 胡春华 云计算环境下基于信任演化及集合的服务选择 胡春华 刘济波 刘建勋 通 信 学 报 2011 摘 要: 针对云计算环境中服务节点的可信度参差不齐常导致用户很难获得高质量组合服务的问题,提出了一种 基于信任生成树的云服务组织方法,将服务提供者与请求者的交互行为经演化后形成信任关系,使主体间可信程 度达到相应级别,形成对外提供相似服务功能的云服务集合,将恶意、虚假的服务排除在信任生成树之外,使服 务组合在可信场景中进行;在此基础上,采用了基于信息熵的度量策略来对服务间的信任关系进行评估,解决了 现有研究中仅对可信参数进行简单加权分析的不足。实验分析表明,该方法能有效抑制云计算环境下恶意节点的 欺诈行为并保护真实节点的合法利益,具有较好的服务选择质量。 关键词:云计算;信任推理;信任生成树;信息熵;服务选择 1 引言 云计算环境下服务资源 1) 云计算环境下虽存在大量功能相似,服务质量(QoS, quility of service)各异的云服务 2) 服务组合的各参与方可能存在恶意、欺诈或虚假的服务实体,提供了不完整、虚假甚至是恶意的服务注册信息 3) 缺乏公正且可操作强的评价机制,当前评价主要来自于使用者对服务的评价,而使用者反馈质量信息又具有不同可信值 2 相关工作 服务组合中服务选择问题: 前提条件: ①选择算法的执行者对网络中的所有服务都是了解的; ②这些服务所能够提供的服务质量也是清楚的; ③服务所提供的信息都是真实可信的。 提出服务选取的前提: 要保证服务提供者信息的真实性,否则服务选取算法所依赖的基础就成问题 solution: 1) 声誉机制 2) 信任传递 3 可信服务演化机制研究 可信服务演化机制研究主要目标: 对云服务间信任关系的发展进行合理度量和有效分析,实现真实服务主体能进行有效演化和自组织,而虚假服务主体常屏蔽在信任服务集合之外,从而提高云计算环境下服务选择的有效性。 3.1 服务主体的可信度量和QoS 度量 QoS属性: 主要包括执行时间(T)、执行费用(C)、可信度(credibility)、声誉度(reputation)等性能指标 SPvs SC 1) SP 是表示其提供的服务与其宣称的是否相符, 2) SC 是表示其所做出的评价是否真实 3.2 可信服务集合体的形成 3.2.1 信任集合的可信度计算 3.2.2 信任集合体的形成 3.3 可信服务的演化机制 定义6 信任服务生成树(CSST, credible services span tree) 信任集合的形成、演化和维护机制如下: 4 基于信息熵的服务选择策略 云计算环境中基于信任演化及集合的服务调度方法 5 实验与结果分析 6 结束语 I comment: I still doubt the credibility of this paper. I will summarize the paperswritten by 胡春华 in trust model 云计算环境下基于信任演化及集合的服务选择.pdf 云计算中基于SLA 的服务可信协商与访问控制策略 胡春华, 陈晓红, 吴敏, 刘建勋 中国科学: 信息科学2012 年第42 卷第3 期: 314-332 摘要 针对当前云计算中因服务提供者(SP) 的信任保障机制缺失而容易被不可信服务消费者(SC)滥用的现象, 提出面向SC 实体的服务可信协商及访问控制策略. 该策略首先依据系统信任规则来表达服务实体的可信程度, 然后通过求解SC 实体的直接和间接信任推理空间建立信任证据的举证方法, 同时采用服务级别协议(service level agreements, SLA) 构建交互双方的协商机制, 最后综合信任传递与迭代计算策略, 确定服务交互的SLA 等级, 提供相应级别的服务, 从而达到访问控制的目的. 理论分析与实验结果表明, 该方法虽少量增加了协商的次数, 但能较好解决服务被滥用以及利用率不高的问题, 为云计算环境下信任协商研究提供一种有效的新方法. 关键词: 云计算 服务级别协议 信任协商 访问控制 信任推理深度 1 引言 信任协商与评价机制 author idea: --首先根据SP 和SC 实体的交互行为来建立自己的信任与推理空间; -- 然后交互双方依据已有的信任关系进行推导, -- 按着要求进行信任举证, 通过双方协商的服务级别来获得有效的信任证据链; -- 最后通过开展综合信任传递与迭代计算, 确定两实体交互的服务级别协议(SLA), 并提供相应级别的服务 2 相关工作 两类服务的评价及访问方法: 1) 不考虑服务实体可信的研究方法. 2) 另一类研究认为互联网络中的服务实体不一定可信, (i) 信任模型的表示方法研究. (ii) 服务信任信息的获取与推理研究. (iii) 服务实体的信任评价研究 (iv) 服务信任协商机制研究. 3 系统模型定义及信任值表示 3.1 系统模型 3.2 信任度量的表示方法 -- SP 实体的进行信任评价. -- 对SC 实体的信任评价, SP 实体对SC 实体的评价值用二元组来表示 4 实体信任空间的建立 SC 实体向SP 申请获得服务的前提: 它向SP 实体提供能证明自己信任度的信任证明(证据链). 4.1 直接交互实体的信任评价 4.2 间接交互实体的信任空间建立 the purpose of this subsection: SP 实体如何向前进行信任推理, 建立更广泛的信任空间 如图2 所示的第I 层所有SP 服务实体的信任评价 算法1 是依据层次推理思路推导出相邻层SP 和SC 间的信任评价, 是第I 层SP 实体A 对第I 层SC 实体的信任评价 综合信任评价还需对这些实体的信任评价进行递推迭代计算. 具体如算法2 所示. 5 基于SLA 的服务可信协商与访问控制策略 5.1 策略的主要思想 基于SLA 的服务可信协商与访问控制策略中如下3 个主要问题需解决: 1) 证据链包含的内容. 2) SP 实体要求SC 实体提供的\证据链 3) SC 实体提供的证据链的可信度分析 5.2 算法描述 算法的流程如图3 所示. 算法3 给出基于SLA 的服务可信协商与访问控制算法描述. 5.3 算法性能分析 6 仿真实验与性能分析 tools: 澳大利亚墨尔本大学(The University of Melbourne) 开发的云计算仿真平台CloudSim 7 结束语 I comment: the previous work focus on the pretect for service customer and pay little attention to the defence mechanism of service providers. So they presents a protocol (SLA) to solve this problem. With regard to methods, author still use trust chain strategy, the old method. 云计算中基于SLA 的服务可信协商与访问控制策略.pdf mynote: 云计算中基于SLA 的服务可信协商与访问控制策略.pdf 2 吴泉源 事务处理技术研究综述 任怡 吴泉源 贾焰 韩伟红 管剑波 计算机研究与发展 Joumal of C0mputer ReSearch and Development 2005 摘要 事务处理技术是保证信息一致性和可靠性的关键技术.首先阐述了事务处理技术的起源与发展,总结了并发与恢复两个核心技术的研究现状,探讨了平坦事务模型的各种表现形式,接着研究了各种扩展事务模型和事务工作流,概括了多库、面向对象数据库、实时数据库和移动数据库等现代数据库中的事务处理技术,分析了相关研究的进展,最后结合已有的研究成果,展望了其未来研究方向及面临的挑战. 、 关键词 事务处理;平坦事务模型;扩展事务模型;事务工作流;web服务 1 引言 事务处理: ACID特性 -- 并发控制 -- 恢复 事务处理技术: 集中 = 分布 web服务 + 事务处理 2 事务的并发控制和恢复技术 3 平坦事务模型 3.1 TP Monitor和应用服务器 4 高级事务模型及方法 4.1 几种常见的ETM Sagas模型 4.2 扩展事务处理框架、系统和方法 4.3 事务工作流 5 现代数据库中的事务处理 6 web服务环境下的事务处理 事务处理技术研究综述.pdf 网络计算中间件鸟瞰 吴泉源 Journal of Software 2012 摘 要: 网络计算中间件是随着互联网的发展而于20世纪90年代兴起一类基础软件.网络计算中间件为各种网络应用系统的开发、部署、运行和管理提供了有力支持.随着信息网络技术和软件服务工程的快速发展,网络计算中间件又被赋予了新的内涵.前半部分从网络计算环境出发,就基础中间件、应用集成中间件和领域应用框架的基本概念和主要技术作较全面的诠释;后半部分聚焦于云计算和物联网等网络计算的热点研究方向,从中间件的角度指出当前值得关注的某些挑战性研究课题和需要深入探索的若干关键技术. 关键词: 网络计算环境;中间件;云计算;虚拟化;服务化;物联网 1 网络计算环境 当前软件工程的研究热点主要有: (1) 微内核集成总线技术,支持软件模块的即插即用,适应软件功能需求的变化; (2) 软构件和对象代理技术 -- 构件: -- 一是构,强调其可构造性和可组装性; -- 二是件,强调其信息隐蔽性和可包装性 (3) 消息代理和各种适配机制,支持不同应用代码之间的互联互通互操作,适应应用软件业务逻辑和业务流程的变化; (4) 软构件组装、部署、动态重构与绑定等技术,支持网络应用与信息系统的静态和动态搭建,适应应用需求与操作环境变化; (5) 面向Web服务的架构技术,支持信息系统松散耦合的部门与部门之间的跨域集成,适应更大范围的网络环境的变化. 2 中间件平台 中间件的分类结构如图1所示 相应的中间件运行平台的概念模型如图2所示. 3 云计算中间件 4 物联网中间件 5 结束语 网络计算中间件鸟瞰.pdf 一种P2P信任管理安全性协议 胡建理 周斌 吴泉源 《计算机科学》 2011年10期 摘要: 通常是通过建立相应的信任管理机制来遏制P2P网络中的节点的自私与欺诈行为,但对信任管理机制本身存在的安全性问题关注则很少,使信任管理系统无法有效应付针对信任信息管理机制的安全攻击。针对这一问题,提出了确保信任管理安全性的安全协议(简称为SPRI)。分析及仿真实验表明,SPRI可以有效地遏制针对信任管理中的身份伪造及信息篡改的攻击,并且效率高,普适性强。 一种P2P信任管理安全性协议.pdf 一种基于反馈可信度的分布式 P2P 信任模型 胡建理, 吴泉源, 周斌, 刘家红 Journal of Software, Vol.20, No.10, October 2009, pp.2885−2898 摘要: 开放、共享与匿名的Peer-to-Peer(简称P2P)网络已经取得了越来越多的应用,无中心对等的特性也吸引 了越来越多的用户.但由于其网络中的节点不受约束,资源的共享是用户自愿的行为,因此节点间的信任很难通过传 统的信任机制建立.一种可行的解决方案是借鉴人际网络中的信任关系,建立一种基于信誉的全局信任模型.已有的工作基本建立在信任度高的节点其反馈也更可信这个假设的基础上,将节点的反馈质量简单地等同于服务质量.针 对这一问题,提出了一种基于节点反馈可信度的分布式P2P 全局信任模型(简称FCTrust),用于量化和评估节点的可 信程度,并给出了模型的数学表述和分布式实现方法.分析及仿真实验结果表明,FCTrust 较已有的全局信任模型在 遏制更广泛类型的恶意节点攻击的有效性、迭代计算的收敛性及消息成本上有较大提高. 关键词: 对等网络;信任;全局信任模型;反馈可信度;信息存储 the organization of this paper: 1) 第1 节分析相关工作. 2) 第2 节给出模型的数学表述与收敛性分析. 3) 第3 节具体阐述全局信任度的分布式计算的实现过程,包括分布式存储机制与信任求解算法. 4) 第4 节给出信任模型的仿真实验结果及分析. 5) 最后总结全文并指出下一步的研究工作. 1 相关工作 author's work: 一种基于反馈可信度的分布式P2P 全局信任模型FCTrust 2 FCTrust 全局信任模型 2.1 模型的定义与表示 2.2 全局信任度迭代计算收敛性分析 3 全局信任度的分布式计算的实现 全局信任度的分布式计算的实现3个方面: -- 信任信息的分布式存储 -- 存储的安全性保证 -- 分布式求解算法 3.1 信任信息的分布式存储 4 系统性能分析 一种基于反馈可信度的分布式P2P信任模型.pdf 一种基于广义随机Petri网的Web服务组合性能预测模型 朱俊郭长国吴泉源 计算机科学Aug,2011 摘要  Web服务交互消息受到不可预知的网络环境的影响,因特网环境中的个体Web服务的性能表现与访问者的地域位置有关。于是,服务组合的性能则更加容易受到网络环境因素的影响。同时,服务组合的性能还会受到服务组合流程中不同的分支执行概率的影响。在这种情况下,服务组合建模只考虑组合本身,而不考虑网络环境因素和分支执行概率,这将会对模型的预测结果造成较大的偏差。为了能够真实地评估服务交互行为、网络环境与分支执行概率之间的关系,提出了一种基于广义随机Petri网的Web服务组合性能预测模型,该模型不仅引入了伙伴服务性能方面的因素,而且充分考虑了网络环境因素和分支执行概率,从而能够对被建模系统进行定性和定量分析,进而指导服务组合性能优化。 关键词 Web服务,性能预测模型,广义随机Petri网,性能优化 1引言 组合服务性能: --地域差异-不可预知的网络环境的影响 --服务组合流程中不同分支执行概率的影响 theresearchproblemofthispaper:Web服务交互行为、网络环境因素和流程分支执行概率之间的关系 基于广义随机Petri网(GeneralizedStochasticPetrinets,GSPN)的Web服务组合性能预测模型 (WebServiceCompositionPerformancePredicitionModel,WS-CP2M) 2相关工作 Web服务组合建模: --状态机 --进程代数 --Petrinets 3服务组合实例 3.1实例介绍 服务组合案例:房屋贷款(HouseLoanBroker,HLB) 3.2组合实例的伙伴服务调用性能 4Web服务组合性能预测GSPN模型 4.1Web服务组合流程的GSPN模型 4.2伙伴服务简化GSPN模型 该伙伴服务简化GSPN模型具有如图1所示的基本结构: 4.3Web服务组合性能预测GSPN模型 4.4性能预测模型的参数设置 4.4.1伙伴服务性能相关的参数 4.4.2分支执行概率 5实例模型与结构分析 5.1生成的实例模型 5.2模型结构分析 6模型性能预测与组合方案性能优化 6.1实例模型的参数设置 一种基于广义随机Petri网的Web服务组合性能预测模型.pdf 3 汪斌强 逻辑承载网构建方法的研究 齐宁 汪斌强 郭佳 计算机学报 2010-9 摘要 面向服务提供的一体化承载网( UCN) 的提出, 增强了网络的可扩展性和可升级性, 为实现三网融合提供了新的思路. 如何有效管理UCN 资源信息并且在物理资源有限的条件下构建出满足用户需求的逻辑承载网( LCN) , 是UCN 研究中亟待解决的重点. 文中给出了UCN 的管理体系结构; 提出了解决UCN 资源拓扑发现和信息一致性问题的方法; 建立了LCN 构建数学模型, 在构建策略的若干重要原则基础上, 提出了带迁移同时考虑网络均衡的LCN 构建方法; 通过仿真实验, 从构建需求接收率和构建后的平均链路利用率两个方面验证了该方法的有效性. 1 引言 其一, 网络是刚性的 , 改造只能依靠升级和扩展; 其二, 网络资源是共享的, 其上部署的服务彼此间相互干扰. solutions: (1) 研究开放、灵活、可扩展、可配置的新型交换设备以提供高性价比的服务; (2) 虚拟化技术, 为不同业务构建服务提供网, 支持多业务融合,以解决网络用户业务多样性等急迫需求. 逻辑承载网( Logical Carrying Network, LCN ) , 见图1 UCN 分层模型如图2 所示 2 UCN 资源管理 2.1 UCN 管理体系结构 分布式分层管理的体系结构, 如图3 所示 2.2 UCN 拓扑发现 2.3 一致性 my Q : 一致性是分布式系统的核心问题,例如经济网络和行政网络 - “令行” 3 LCN 构建策略 3. 1 网络模型 4 实验与数值分析 4. 1 实验设定 逻辑承载网构建方法的研究.pdf wiz: 逻辑承载网构建方法的研究.mht 基于构件运算的可重构系统代数模型 袁 博, 汪斌强 Journal of Software,2012,23(10):2735−2745 摘 要: 可重构系统是指一个系统由构件组成,随着构件被替换以及组合拓扑关系的变化,系统表现出不同的功 能.针对可重构系统在形式化和重构建模方面的不足,用代数学方法对可重构构件、构件组合、可重构系统的属性 和行为特征进行抽象,把构件组合定义成构件的“运算”实现,结合进程代数中算子的概念,定义了多种构件组合运 算,建立了可重构系统的代数模型.在代数模型基础上,提出了重构建模和重构范式,为可重构系统提供理论支持,最 后介绍了应用案例. 关键词: 构件;构件组合;可重构系统;进程代数;重构建模 基于构件的软件工程(component based software engineering,CBSE): 通过组装可复用、可插拔的软件构件构造系统 构件间拓扑关系可重构 author's work: 从可重构的角度出发解决面向服务的软件开发问题,用代数学方法对重构、构件组合、可重构系统的属性和行为特征进行抽象,把构件组合定义成构件的“运算”实现,结合进程代数中算子的概念,定义了多种构件组合运算,建立了可重构系统的代数模型,为可重构系统的设计和实现提供理论支持. the organization of this paper: 1) 第1 节给出可重构系统代数模型描述. 2) 第2 节介绍如何针对可重构系统的可重构属性进行建模. 3) 第3 节对3 个应用案例进行分析. 4) 第4 节介绍相关研究工作. 5) 最后总结全文. 1 可重构系统代数模型 the goal of this section: 解释可重构构件、构件组合以及可重构体系结构等概念,最后给出可重构系统代数模型. 1.1 可重构构件 1.2 构件组合 可重构系统的特点: 构件可以复用,并且可以通过构件连接关系的变化引起系统功能的变化 1.3 可重构系统代数模型 2 可重构系统的可重构属性建模 3 应用研究 4 相关研究工作 5 结束语 基于构件运算的可重构系统代数模型.pdf 基于构件的层次化可重构网络构建及重构方法 刘强 汪斌强 徐恪 计算机学报 2010 Sept 摘要􀀁 下一代网络为了保持网络发展的一致性和连贯性、融合现有底层网络通信基础设施的异构性、能够保证 支撑各个领域全面信息化及保证整个网络的可管可控可信做了很多尝试. 作者通过对现有网络及下一代网络发展 方向的分析, 提出了基于构件的层次化可重构网络体系结构及松耦合、兼容融合、扩展和隔离的构建原则. 作者还 提出了基于进程代数的重构原则、模型、功能实体合作方法, 并提出了具体实现方案, 保证了构建和重构过程中的 自主性、反应性和主动性. 通过搭建实验网络测试, 证明了可重构网络具有良好的灵活性和扩展性. 关键词: 可重构网络; 层次化; 重构; 构件; 模型 1 引言 the organization of this paper: 1) 第2 节介绍相关工作; 2) 第3 节给出可重构网络构建原则和四层模型; 3) 第4 节用进程代数的方法描述可重构网络构建和重构过程; 4) 第5 节给出可重构网络具体构建和重构过程, 并给出相应实验结果; 5) 第6 节总结全文. 2 相关工作 GENI project (NSF) PlanetLab 3 可重构网络体系结构 3.1 概念 3.3 可重构网络体系结构四层模型 4 可重构网络构建及业务重构方法研究 5 可重构网络构建及业务重构实现 5.1 可重构网络构建及重构 6 总结 基于构件的层次化可重构网络构建及重构方法.pdf 可重构柔性网络资源管理与服务映射方法研究 王保进,汪斌强,王志明 通 信 学 报 August 2012 摘 要: 提出了基于资源重组的可重构柔性网络(RFNet)。RFNet 中的网络服务是构件的有机组合,并且能够根 据新的业务需求,利用构件复用思想,从软硬件出发重构出满足需求的新的网络服务。首先介绍RFNet 的体系结 构,然后提出RFNet 的“资源管理—承载网映射—网络服务映射”的流程机制。经过评估,提出的RFNet“资源 管理—承载网映射—网络服务映射”机制能够很好地支持差异化服务的构建与共存,并且基于负载均衡的可重构 服务承载网映射算法RSCNM 在网络构建成功率、最大节点强度、平均链路利用率和构建平均收益上具有明显的优势。 关键词:可重构柔性网络;资源管理;资源分配;网络服务映射;可重构路由交换平台;构件 1 引言 可重构柔性网络(RFNet, reconfigurable flexible network) 2 可重构柔性网络体系 2.1 关键概念 2.2 分层模型 RFNet 采用4 层结构的分层参考模型,如图1所示 2.3 组网架构 RFNet 的组网架构如图2 所示 3 可重构柔性网络的资源管理机制 3.3 资源分配 4 可重构服务承载网映射算法与机制 4.2 映射算法与机制 RFNet 下可重构服务承载网映射算法,如图5 所示。 5 网络服务映射机制 5.1 拓扑映射 5.2 构件组合 5.3 节点重构机制 主控部件(CE)软件架构如图10 所示 6 实验评估 7 结束语 可重构柔性网络资源管理与服务映射方法研究.pdf 基于可重构路由单元的软件构件描述语言研究与设计 刘 强 汪斌强 袁庆华 计算机科学 Computer Science Vol.37 No.4 Apr 2010 摘要 随着路由器的研究重点从对路由器性能的提升发展到对路由器功能的扩展, 可重构路由单元成为解决路由 器功能扩展方面的一个很好的尝试。可重构路由单元的构件化设计引入了软件构件模型的思想。基于软件模型构件 化开发, 对可重构路由单元构件模型的描述及管理方法做了研究。软件构件描述语言和描述方法的研究与设计为下 一步进行路由器构件化开发也打下了坚实的基础。 关键词: 可重构路由单元, 构件模型, 描述 1 引言 2 构件描述 构件描述语言( Component Descripition Language): -- CORBA 规范中的接口描述语言IDL -- UML 规范中的对象约束语言OCL author's idea: 3C 构件+ 接口描述的模型: -- 2.1 构件模型描述 构件模型描述符包括3 部分, 如图1 所示。 软件构件定义: 一个由输入接口集、触发条件集、功能集和输出接口集组成的五元组, 定义其属性为SC(Hardware Component) (I,C,F,O,S), 其黑盒模型如图2 所示。 2.2 构件组装描述 3 实现 基于可重构路由单元的软件构件描述语言研究与设计.pdf
个人分类: CHI|1 次阅读|0 个评论
云计算对个人的影响
热度 2 伍加 2011-12-30 21:34
【科学技术(11)】 云计算对个人的影响 伍加,2011年12月30日,周五 有两个概念与我们今天的生活息息相关:(1)全球化;(2)云计算。全球化已经改变了人们的生活;云计算正在改变人们的生活。特别是靠技术吃饭的人,需要对这两个概念有深入的理解。 全球化的核心是资本在全球范围内谋取利润,不受国界的影响。因此,资本总是流向利益最大化的地方,比如,劳动力最低廉的地区、没有工会的地区、当地政府保护资本家并帮助资本家发财的地区、资源丰富的地区、环境保护法和劳动法不健全的地区等等。美国在全球化中尝到了甜头也吃了苦头:甜头是富人更富了,苦头是大量本国工人失业。发展中国家在全球化中也是既收获了利益,也产生了弊端。比如说中国在这场全球化过程中变成了“世界工场”,经济快速增长;同时环境在恶化,资源在枯竭,劳资关系和社会矛盾层出不穷。 表面上看,云计算只是一个技术术语,其实它与全球化、人们的生活方式和生活质量息息相关,只不过搞技术的人更关心它的实现细节而已。任何“计算”都需要三个要素:软件、硬件、和维护;简单地说,如果把这三个要素中的任何一个看成“服务”,并采用全球化中常用的服务“外包”的方式提供这种服务,或者获取这种服务,这就是云计算。据估计,目前提供“软件作为服务”的云计算公司就有 2000 多个,而提供“硬件作为服务”的大型云计算公司有 30 多家。几年以后,将会出现越来越多的中小型公司参与云计算的市场竞争。 作为一般的用户,云计算最大的影响就是计算的方式要发生重大变化,需要逐步适应这种变化。目前的个人计算的典型方式是:第一步买台个人电脑,内存要大,速度要快,中上档次的个人电脑需要大约 1500 美元。第二步是购买需要用的软件,比如说财务软件、报税软件、游戏软件等等。第三步是维护,清除病毒、更新硬件和软件等。在云计算的方式下,个人电脑的资源配置可以非常少,不需要很强大的处理芯片,甚至连硬盘、光驱都不需要,只要能显示图形并且快速联网就行了,因而个人电脑的价格可以在 100 美元以内。在云计算方式下,几乎所有的计算都是在“云”中(就是远程服务器端)进行的,个人电脑根本不需要太强的运算功能。这就好比我们现在家里用水,自己家里不再需要设置水缸了,因为有城市水塔和水厂,每家每户只需要装个水龙头就可以了。 现在我们购买软件时,就像到商场购物一样,缴钱拿货,软件一般都是存放在光盘上的物化产品;到家后再把光盘上的软件安装到个人电脑上运行。在云计算方式下,个人用户不再需要“购买”软件光盘了,所有软件都在“云”中运行,软件的收费方式变成了“租赁”方式或者按照使用次数和使用时间收费。微软的 Windows 8 就有云计算的功能,办公软件 Office365、 SharePoint、和 Dynamics CRM 等软件都可以用“云中租赁”的方式使用。目前已经有大量的应用软件采用云计算的方式发行和收费,光是 Force.com 这一家就提供近 20 万种各类“云中”软件应用,可以说已经基本达到应有尽有了。有人预测“软件作为服务”这种计算模式潜力巨大,到 2015 年,这种云计算的市场利润将达到 540 亿美元。 云计算也使得用户端的“维护”工作十分简单,大量的系统维护、安全防护、更新换代都是在远程服务器端进行的,是计算服务的一部分。 作为信息技术(IT)从业人员,云计算将会带来巨大的挑战和商机。其中最大的挑战是“饭碗”面临危险,不及时调整将会加入失业大军。云计算的核心思想是从“全球化”那里来的,像编程开发这样原来的白领工作现在也越来越多地外包到印度、中国等具有廉价智力劳动大军的地区,如果中小型的公司、企业都把本单位的 IT 服务外包到“云计算”商家那里,不知将会有多少 IT 从业人员要失业丢饭碗呢。云计算的一个简单后果就是,各个中小型企业都不再需要设置一个自己的 IT 服务部门了,或者说原先百人的 IT 部门在云计算的模式下只需要 10 人,那么原先那 90 人就需要另谋职业了。 当然,对于想要创业的人来说,云计算提供了绝佳的商机。如果是做 IT 行业的,云计算本身就有巨大的商机;如果是做其它行业的创业者,云计算使得创业变得容易多了。以前,当你有了创意产品之后,首先要搞到大笔的 VC 资金才能开始购买设备、雇用 IT 开发人员等等,现在利用云计算服务,只要有了创意产品,立即就能挂牌开张。因为云计算是按照使用的次数和流量按次按量收费的,因而花费低、风险小。 如果你是公司里负责 IT 的小头目,或者是个 CIO (信息主管)、CTO (技术主管)、CISO (信息安全主管),那么云计算对你的影响将会更大。在今后三到五年里,云计算服务的花费将会在你公司全部外包业务花费所占的比重越来越大,至少会有一半以上的职员使用平板电脑、聪明手机等移动计算设备获取各种云计算服务,笨重的桌上电脑系统会逐步被淘汰掉,云计算的信息安全越来越重要,至少有一半以上的全球 1000 强的大公司将把他们的用户信息放在“公共云”数据库中,45% 以上的实际 IT 花费并不在本公司的 IT 部门里,等等等等。 “竹外桃花三两枝,春江水暖鸭先知。”在全球化到来之前,有人预测到了它的发展趋势,抓住了战略机遇,成为时代的弄潮儿;也有人没有看出全球化所带来的危险,被时代大潮抛在了一边。现在,“云计算”可能促使商业模式和消费模式再次发生重大变革,这又是一次机遇,也是一场挑战,有心之人必然会未雨绸缪,随机应变。 伍加,2011年12月30日,周五 http://blog.creaders.net/invictus/
个人分类: 科学技术|5233 次阅读|3 个评论
[转载]下一代互联网体系结构之争
热度 1 abyssoop 2011-12-29 22:53
COMMAG2011七月号是下一代互联网专刊,没想到综述力作竟然出自剑利之手,剑利出国,终成利剑,就从剑利的大作开始吧。 A Survey of the Research on Future Internet Architectures用排比的手法把所有和下一代互联网研究有关的项目梳理了一遍,对于入门者而言,是个很好的教材。文中以简短的文字介绍了各国耗资巨万投入此领域的原因:在安全、移动性、内容分发等方面涌现出的新情况、新需求已经超出了传统互联网的处理能力,因此,需要另起炉灶,从根本上改变互联网的基本设计理念和原则,改天换地。而实现这一目标需要两方面的基本保证:第一是制定统一的架构和规则,不能各自为战;第二是需要足够真实和规模的测试环境。 至于下一代互联网研究的焦点,剑利列举了五点:内容分发、移动泛在接入、云计算、安全、试验床。我认为这种划分的方式过分关注纵向的块而忽视了横向的条,自主控制作为一种方法论研究已经被关注了多年,很多项目里都涉及到自主控制的思想。从架构和原则上来讲,不谈自主控制很难把这些零散的技术领域捏合起来。 文中列举的项目达数十项之多,如果把这些项目的子项目和孙项目都算上,大概要达到数以百计的规模。但这些项目都有一个致命的弱点,即对现实问题语焉不详,缺少令人信服的数据作为支撑。每个项目都在侃侃而谈新需求与现有技术的冲突,但是,这种冲突到底有多严重,却缺少详尽的案例和数据,或者干脆没有。这不能不让人怀疑这一领域已经进入类似大跃进的阶段,两脚离了地。 对于互联网经典设计原则的辩论,见于下一代互联网研究的初期,双方争论的焦点,不是互联网是否应该革命,而是应该采用何种革命的路径。大部分人坚持应该采用断层路线,坚决破四旧,打到一切牛鬼蛇神,而仅有少部分人认为互联网应该采用渐进模式,小步慢跑,自然生长。互联网的祖师爷DAVID D CLARK并没有参与争论,但他写了一篇对互联网设计原则进行重新审视的文章Rethinking the design of the Internet: The end to end arguments vs. the brave new world,以非常谨慎和严谨的态度对四十年前设立的原则进行了讨论。和那些一味革命的同行不同,CLARK更关注引起变革的原因以及互联网基本设计原则变更之后可能带来的问题:We discuss a set of principles that have guided the design of the Internet, called the end to end arguments, and we conclude that there is a risk that the range of new requirements now emerging could have the consequence of compromising the Internet’s original design principles. Were this to happen, the Internet might lose some of its key features, in particular its ability to support new and unanticipated applications。和那些只见其利,不见其弊的同行相比,CLARK更值得尊敬。 旗帜鲜明地反对CLEAN SLATE路线的代表人物是佐治亚理工的Constantine Dovrolis,他在Future Internet Architecture: Clean-Slate Versus Evolutionary Research一文中,认真探讨了两种演进路线的利弊。不过看的出来,他更倾向于逐步演进的模式。 无论是严谨的CLARK 还是辩证的DOVROLIS,都没有在下一代互联网的狂潮中分到大羹,看起来,在研究领域,有时候离谱和创新也会被简单地划上等号。 CLARK在他的大作中,重申了端到端协议的优势,如此精辟的表述,令我不认翻译: •The complexity of the core network is reduced, which reduces costs and facilitates future upgrades to the network. •Generality in the network increases the chances that a new application can be added without having to change the core of the network. •Applications do not have to depend on the successful implementation and operation of application-specific services in the network, which may increase their reliability. 这些优势其实都来自一个谁都无法回避的问题,即互联网是一个没有统一管理、结构松散而随意、复杂性超乎寻常的庞然大物。按照杰夫、凯尔斯的理论,在应对这样一个复杂不确定环境时,内部控制模型的复杂性应该保持低于外部环境,从而获得不断自适应的可能性。反之则会使看起来很美的复杂控制模型走向死亡。我想只要互联网的本质特性没有发生变化,只要CLARK所强调的优势仍然重要,那么互联网的演进路线就应该是不断修正核心的简单规则,而不是不断向网络中注入复杂的控制模式。 但CLARK的眼界和格局远远超出了技术的层面,他认为,所谓的对互联网基本设计原则以及体系结构的各种改进,事实上是互联网利益相关各方在经济、政治、意识形态这些非技术层面诉求的体现。政府、大运营商、有雄厚资本支撑的投资人希望更多的管理和控制,并倾向于大跃进式的创新模式,而端到端原则体现的是自由开放精神,允许各色人等以小步快跑模式进行多样化创新。在互联网草创之时,互联网的参与者成分单一,并且相互之间信任度很高,因此端到端原则所秉承的思想就是任何人都可以自由地和任何人沟通。但现在互联网的复杂性已经远远超过了40年前,信任、安全都成为大问题,而政府和大财团的介入这让情势变得更为复杂。 CLARK列举了当前互联网中已经采用的一些和端到端原则相悖的技术,他并不评价这些技术时候合理,但仍然道出了自己的隐忧。他认为这些技术和服务的引入,有可能会对互联网的健康发展造成潜在的危害。为了让这个听起来比较晦涩的观点易于理解,CLARK举了一个网络缓存的例子。网络缓存通过在本地缓存数据减少传输时延,但同时也使用户对缓存备份的依赖性增强,反而有可能削弱运营商提升网络整体能力的意愿。 在文章的最后CLARK委婉地对那些热衷于扮演下一代互联网总设计师角色的家伙泼了一盆冷水。他认为,互联网中各方利益博弈的结果,不可能是赢者通吃,只会是不断地寻求新的平衡点。因此,任何对终极技术形态的预测都过于幼稚。但有一点是毋庸置疑的,那就是由端到端原则衍生出的开放和通用属性,在任何时候都是创新精神得以滋生的必要条件,不应被草率丢弃(This pattern suggests that the balance 1096 of power among the players is not a winner-take-all outcome, but an evolving balance. It 1097 suggests that the outcome is not fixed by specific technical alternatives, but the interplay of the 1098 many features and attributes of this very complex system. And it suggests that it is premature to 1099 predict the final form. What we can do now is push in ways that tend toward certain outcomes. 1100 We argue that the open, general nature of the Net, which derived from the end to end arguments, 1101 is a valuable characteristic that encourages innovation, and this flexibility should be preserved.)。 CLARK一生著述不多,远远谈不上著作等身,但CLARK所创立的端到端原则,为互联网的发展奠定了基石。看过CLARK的这篇文章,我终于理解CLARK在四十年前的远见卓识绝非偶然,他对于人类社会以及人性的深刻理解,远远超出了科学家或工程技术人员的层面。任何人与成功之间的距离,即他与社会的距离,此言不虚。 看过CLARK的文章,在去读那些在技术层面纠缠的论文,顿时有一览众山小之感。 Constantine Dovrolis在圈子里名气不大,或者说根本没什么名气,但他和我的研究方向一致性最强,而且很有自己的想法,是少有的头脑清醒的科学家。现在这家伙已经当了爹, 但文章还是写得那么好。 Constantine Dovrolis在很多场合表达了他对断层式发展模式的不屑,但最精彩的部分出现在一篇带有争鸣性质的文章中: Future Internet Architecture---Clean-Slate Versus Evolutionary Research。在这篇文章中,Jennifer Rexford和Constantine Dovrolis旗帜鲜明地表达了对断层式发展模式和渐进式发展模式的态度。前者乏善可陈,而后者的论证之严密和精彩,堪比17世纪苏格兰弓弩存废之争。 Jennifer Rexford的观点非常具有代表性,她认为互联网到目前为止都没有什么通用的自顶向下设计法则或普适的经验,完全是一堆杂乱无章的技术和协议的大杂烩,而且问题成堆,漏洞百出。而断层式的设计则可以摆脱这些混乱的羁绊,轻装上阵,令那些附着在现有体系中的安全、管理、业务等方面的问题迎刃而解。Jennifer Rexford并不否认现有的互联网体系为底层传输技术和上层应用提供了极大地灵活性,但同时也认定这种体系过于僵化和难以改变,因此应该从增加网络的可编程属性入手,允许各种相互独立的体系结构并存。她所说的这个僵硬的ARCHITECHTURE,其实就是TCP/IP。GENI和OPENFLOW再次作为新型体系结构的成功典范被提及,但事实上我完全看不出来OPENFLOW能在体系结构的革命大业中充当旗手或马前卒。在结尾处,Jennifer Rexford满怀激情地写道,既然当年互联网能够成功地将基于电路交换的电话网挤进历史的暗角,为什么我们就不能憧憬互联网被另一个全新的事物扫进故纸堆? Constantine Dovrolis的陈词没有那么多革命的激情,但分析的严密性和逻辑性远非那些鼓吹断层式发展的专家所能及。如果说DAVID D CLARK只是用温婉的语气表达自己对眼下大跃进热潮的忧虑的话,那么Constantine Dovrolis则是针锋相对地展开论战。 首先,Constantine Dovrolis对两种发展模式的差异进行了界定。渐进式路线的特点是在分析互联网现有行为特征以及存在问题的基础上,遵循向后兼容以及累进发展的原则解决问题。而断层式路线的特点则是在不受现有技术体制制约的条件下设计全新和优越的体系结构。Constantine Dovrolis坚信断层式发展不是什么新鲜事物,这东西的历史几乎和互联网一样长,主动网络、XCP、CLNP、NIMROD都曾经耀眼一时,但随即烟消云散。而那些多少带有向后兼容属性却不具备增量部署特性的技术,例如IPV6、RSVP, IntServ, IPsec,S-BGP,到目前为止都没有得到大规模应用。与之形成鲜明对比的是,现实世界采用了大量符合演进特性的技术,例如NAT、入侵检测和DIFFSERVE。之所以出线这些看似不合理的现象,是因为所谓革命性新技术的升级成本太高,以致远远超过了这些技术可能带来的好处,注意,是可能的好处。这句话可谓一语中的。 在后面的章节中,Constantine Dovrolis逐一反驳了断层式发展派所持的观点: 第一,断层式发展派认为GENI这些试验床的部署足以证明他们不是在纸上谈兵,而Constantine Dovrolis则认为早在20年前人们就已经在试验床上对断层式技术进行过实验,问题的关键不在于实验时候充分,而在于新技术所能给现实世界带来的好处以及升级成本永远都不可能在试验床上测试出来。尽管ARPANET也被认为是试验床,但它同时也是一个承载实际应用的运营网络,这一点和GENI有本质的差别。 第二,断层式发展派认为互联网本身就是上世纪6、70年代技术上的一次断代式发展的结果。而Constantine Dovrolis则认为TCP/IP技术完全不是无中生有,而是从同步复用、异步复用、包交换一步步演进发展出来的。而且TCP/IP体系结构也是在逐步发展演进中才击败了众多对手(例如SNA,DECNET)逐步成为主流。这和石头里蹦出个孙猴子完全不是一个概念。 第三,断层式发展派认为互联网体系结构的核心,TCP/IP技术已经僵化不堪,完全不能容纳任何形式的革新。Constantine Dovrolis则认为这种流行的观点完全颠倒是非,纯属扯淡。底层链路技术和上层应用之所以能够衍生出无限的多样性和灵活性,恰恰受益于一个简单、稳定的中间层的存在。在The Evolution of Layered Protocol Stacks Leads to an Hourglass-Shaped Architecture以及Ten Years in the Evolution of the Internet Ecosystem中,Constantine Dovrolis的学生们对这一点进行了更为详细的阐述。 第四,断层式发展派把互联网视为一个可以随意改动的物件,因此视体系结构这等大事如掌中之物。而Constantine Dovrolis则完全认同CLARK的观点,即互联网已经是一个与政治、经济以及亿万用户密不可分的复杂生态系统(详细的论述见于What would Darwin Think about Clean-Slate Architectures),而互联网的发展方向和方式,也绝不是一个简单地技术问题。 如果你觉得阅读文献过于不便,也可以通过幻灯片Four myths about GENI来快速了解Constantine Dovrolis的观点。 作为渐进发展派的支持者,Constantine Dovrolis同时提出了富有建设性的建议。他认为当务之急不是建立所谓的测试床,而是通过建立系统性的监测体系去深入观察和分析现有互联网的行为特征,并在此基础上建立一个带有实验性质的运营网络,通过现实环境检验新技术的可行性。 如果是CLARK,说到这里也就该及时打住了。但Constantine Dovrolis还保持这年轻人的冲劲,宜将剩勇追穷寇,在文章的结尾对断代发展派所津津乐道的所谓网络科学给予了致命的一击。因为断代发展派时常把跳跃式发展和富有哲理的科学混为一谈,并抨击渐进式发展不过是头疼医头脚疼医脚的庸医。对此,Constantine Dovrolis对科学的定义可谓再次集中要害,颇有方舟子之风: A domain of knowledge does not become science because it is based on clean optimization frameworks or because it proves deep results about toy models. Good science requires relevance to the real world, measurements and experimental validation, testable hypotheses, and models with predictive power. Constantine Dovrolis是一个严谨的人,他在阐述自己的论点之后,更进一步提出了一个很多人想问却不敢问的问题:那么多学术领域的泰斗,为什么会像中了魔障一样,不顾客观规律,狂热地追捧空中楼阁一般的所谓新型体系架构? 作为愤青,我的反应是这帮家伙是为了拿到项目经费才做出屁股决定脑袋的行为。但Constantine Dovrolis认为不尽然,除了钱的因素以外,草创新世界的乐趣和成就感或许更具魔力,这魔力之大,足够让一群天才集体做出不理智的行为。能把问题看得如此透彻,正是Constantine Dovrolis的过人之处。 在有关体系结构的激烈争论之外,还有一些比较中立的派别,把关注的焦点放在能够对互联网形态产生深刻影响的技术上,Content, Connectivity, and Cloud---Ingredients for the Network of the Future_COMMAG2011就属于这一类。在这篇文章中,作者认为内容分发、泛在接入以及云计算、虚拟网络是互联网发展过程中具有里程碑意义的三项技术,而这三项技术的现状仍然差强人意。 首先,互联网中内容的分发仍然依赖于内容及其存储位置之间的绑定关系,没有建立起真正面向内容的命名、查询和路由体系。其次,虚拟网络技术仍然不够灵活,对人工干预的依赖性太强。按照作者的理解,真正的虚拟网络应该能够容纳数据、应用、服务,不受运营商管理域以及底层网络技术体制的束缚,能够为用户提供随时随地和个性化的接入服务。而云计算资源应该具有分布特征,便于用户就近接入和使用,而不是像现在这样集中放置在服务提供商的机房里。 上面这张图是文章作者对开放式连接服务的构想。按照这一设想,网络的各个层面,包括虚拟网络,需要为用户和其他层次提供开发和可扩展的全新接口,利用这些接口,将能够更加充分地利用多接入、多路径等多样化的服务以及底层网络的传输服务。这里面渗透了跨层的思想,但核心是对网络资源进行更加充分和灵活的运用。 这篇文章的作者并没有讨论体系结构方面的问题,也没有表达自己的倾向性,其中隐含的意思,是作者认为现有的网络体系结构并不会对新技术的采用形成障碍,虚拟化和云技术只是为新技术提供了一个更大的舞台,而不是以颠覆者的面目出现。 在COMMUNICATIONS MAGAZINE 2011年的三月号上,专门对以内容为中心的网络技术进行了讨论。我认为以内容为中心的网络技术将是驱动互联网发展的火车头,为云计算、虚拟网络等等支撑性技术提供动力,而火车运行的路基,仍然会是TCP/IP技术。
个人分类: IT信息|4610 次阅读|1 个评论
[转载]ArcGIS for Server 10.1智能支持云的架构
miran 2011-12-28 08:17
[转载]ArcGIS for Server 10.1智能支持云的架构
ArcGIS for Server 10.1智能支持云的架构 已有 240 次阅读 2011-12-12 09:59 标签 : ArcGIS 云计算 gis server api (上) 一、 基于Site - GIS Servers新模型的架构 在ArcGIS for Server 10.1中采用了新的模型结构:Site - GIS Servers。这里将它称为nGIS Servers,即多节点GIS Servers。新的模型架构取代了10.0以前的基于SOM – SOCs结构。 ArcGIS for Server 10.1 架构模型如下图所示: 新型的nGIS Servers模型已经没有像10.0及9.x版本的SOM主控制节点,采用点对点(p2p)的方式,即每一个GIS Server节点都是平等的。这样新模型即使是某一个GIS Server节点意外的宕掉,也不会导致整个地图服务的停止运行;同样,当需要增加一个GIS Server节点时,以plug-in方式插入一个节点为服务提高负载能力。而这种松散的、热插拔的架构是构建云GIS应用的基石。 在逻辑上,这n个GIS Servers节点组织为一个Site站点。 ArcGIS for Server 10.1 新架构模型的逻辑关系简单概括为:以Site为架构单位;Cluster为GIS 服务的逻辑单位;GIS Server为实际处理单位;GIS Instance实例为每个GIS功能的处理容器。 1.1 、 Site为架构单位 ArcGIS for Server 10.1 在安装完成以后,需要确定创建一个新的Site站点,还是添加到已经存在的Site站点。如果是创建一个新的ArcGIS Server环境,就需要选择New Site操作,在创建新的站点过程中配置了Directories和Configuration Store路径、以及Site用户信息。 只有添加到Site站点的GIS Server,才能称为Siteful的GIS Server节点,要不就为孤立的节点,是不属于架构之内。 每个Runnable的GIS Server所需的一系列数据,它们都被保存到Site相关属性里。如:所属的集群信息、服务信息、服务所依赖的数据信息、目录信息以及日志信息等等。GIS Server也是基于这些信息才能提供具体服务的。 一个具体的应用GIS环境只有一个Site站点。 1.2 、 Cluster为GIS 服务的逻辑单位 安装完GIS Server节点,创建一个新的Site站点后,ArcGIS Server默认会产生一个名为“default”的默认集群。以后创建的Runnable GIS Server节点都可以添加到这个集群内,当然某个Site站点可以创建多个集群。 对于某个特定的Cluster,它是某个具体服务的逻辑容器,承载的具体服务如:Map Service、GP Service等等。举个例子:现在需要发布某区域的基础地形的地图服务,就需要选择是有哪个Cluster承载这个地图服务。到此为止,用户发布地图服务的过程就完成了。当然,具体的服务能力是有下面的GIS Server提供。 但并不是一个Cluster不是只承载某一个服务、或者某一类服务,每一个Cluster可以为不同类型,多个服务提供容器。 ArcGIS Server 为 Cluster内的GIS Server通信提供了完善的协同保障,如:TCP轮询、UDP广播、心跳感应等等。 1.3 、 GIS Server为实际处理单位 每一个安装ArcGIS Server的机器为一个GIS Server节点,这里的机器可以是物理机,也可以是虚拟机,当然这样的每个机器内只能有一个GIS Server节点。 上述的GIS Server节点,其实也是Siteless的节点。要想转成为Runnable的GIS Server节点,首先需要添加到Site站点内,转为Siteful的GIS Server节点,然后添加到Cluster内,就成为Runnable 的GIS Server节点。 在每一个Cluster逻辑内可以存在多个GIS Server节点,这些GIS Server节点负载均衡上层的逻辑功能。ArcGIS Server提供了多种负载均衡的算法,对于不同的请求情况,如:密集I/O型、长事务型、高CPU型等,会自动配置到不同的负载算法。 在新模式下,GIS Server是全缓存模式的,这样性能将得到提升。 1.4 、 GIS Instance实例为每个GIS功能的处理容器 GIS Instance 为GIS Server的处理实例。默认情况下,一个GIS Server节点自动设置最大实例数为两个。对于ArcGIS Server for windows版本,如果这个节点运行饱和下就是产生两个java.exe进程,这些就是处理具体功能的实例进程。 当然,对于某个负载较重的GIS Server节点,通过相关接口可以调整最大实例数,以满足处理量的需求。 二、 开放的后台接口 - ArcGIS Server Admin API ArcGIS for Server 10.1 对比于前些版本,不但提供基于操作各类Service的Rest/Soap SDK API,如:ArcGIS API for Javascript、ArcGIS API for Flex等等;而且提供操作和管理后台的Admin API。 ArcGIS Server Admin API 是基于主流的Rest框架,这样无论使用的是C/S,还是B/S;无论使用Javascript、Sliverlight,还是Flex,都可以轻松的操作ArcGIS Server暴露出来的后台接口。 ArcGIS Server Admin API 对于建设云架构的GIS应用环境是至关重要的。它提供了粒度适中的接口,让用户可以轻松的控制后台ArcGIS Server整个运行情况,无论是动态创建、或者删除GIS Server;调整某个GIS Server的实例数;还是动态迁移Site;合并多个Cluster集群;乃至统计某Map服务的访问量;监控某个GP服务的处理时间。 Admin API 让ArcGIS for Server完美的支持云架构,主要体现在主流云计算的以下几大特征中 2.1 、 GIS服务的智能弹性调整。 在通用的GIS应用中,伴随着用户量或者使用频率的增加,超负荷并发量的请求推向后端的GIS服务器。此时,GIS服务处理性能就遇到瓶颈。 这种情况下,我们通常需要停止GIS服务,重新构建满足客户需求的GIS环境。这就涉及到:物理服务器环境变更,如:添加服务器、或者替换为更高性能的机器;再者需要在新环境中重新部署ArcGIS Server,如:安装和配置软件、数据迁移、服务重新发布等等无法避免的操作。这些都是耗时耗力的过程,并且使得GIS应用无法满足7*24的运行。 当此应用的用户量或者使用频率下降时,根本不需要如此多资源,这样又造成严重的资源浪费。 基于ArcGIS for Server 10.1新架构下,结合Admin API可以智能的弹性调整资源。调整分为两个级别:GIS Server机器级别 和 Server Instance实例级别。资源弹性调整分为两种情况: · 当并发负载开始增加时,首先检查现有GIS Servers机器的物理处理能力是否饱和,如果不饱和的话,增加现有GIS Server机器中的Server Instance实例数,使其达到饱和状态;随着并发量的持续增加,现有的GIS Server机器已经达到饱和状态,此时启动备用的GIS Server机器,并且平滑的将新的GIS Server加入到GIS 服务逻辑单位中。如果并发量再增加导致新的GIS Sever机器也达到饱和,则可以继续平滑增加新GIS Server机器,达到满足用户并发量的GIS环境。 当然如果资源充足的话,可以无限的并发扩展。 · 当并发访问量开始下降时,现有的GIS Servers出现亚饱和状态,此时减少某台GIS Server机器上的实例数。伴随着访问量下降到一定程度,现有环境GIS Servers出现不饱和,此时可以平滑的将某台GIS Server移除。这样不断的动态调整,在低并发时使用少量的GIS Servers机器,而删除掉其余的机器,以达到最合理的利用资源。 上述情况的性能检查和服务调整,不管是实例级别的,还是GIS Server机器级别的,其核心功能是基于Admin API提供的。 在实际生产情况,上述两种过程是交替、平滑的发生在云端,对ArcGIS的用户来说完全是黑箱的,无论用户端使用情况如何复杂,用户都能获得流畅的用户体验。 2.2 、 GIS服务可度量。 GIS 服务的智能弹性调整的基础是:服务可度量。通过Admin API暴露出来的某些服务度量数据,云GIS应用才能进行智能的调整资源。但是资源的弹性调整并不是GIS服务可度量的唯一用途,除此之外,它还可以向管理者反映:某服务的历史访问量、某服务操作的成功率等等。 Admin API 暴露出以下重要的可度量的信息: · 宏观信息。如Site中集群数;某个Cluster服务逻辑中的GIS Server数;每个GIS Server的最大实例数等。 · 微观信息。如:截至到当前时刻服务的访问量;该访问量占用的处理时间;服务实例数实时使用情况等。 2.3 、精准的成本核算。 基于Admin API提供的成本核算也是建立在服务可度量的基础之上。根据事先定制好的服务成本系数,可以精准的核算出每个服务在某段时间的成本费用。除此之外,在Admin API上传数据时可以获得数据量大小,在按照事先定制数据成本系数,可以获得GIS数据的成本费用;再者可以结合Web服务监视接口可以获得托管在云端的应用成本费用。 2.4 、完善的日志描述 在ArcGIS Server 10.1中通过Admin API暴露了完善的日志接口,不但包含系统日志,而且包含操作日志。例如:系统日志就分为:SEVERE, WARNING, INFO, FINE, DEBUG等级别,每种级别中有不同的日志代码,根据日志代码可以查询到问题表述,可以帮助管理人员有效的解决问题。 感谢 云板块 版主 beniy388 撰稿 ArcGIS for Server 10.1智能支持云的架构(下) 已有 119 次阅读 2011-12-14 13:35 标签 : ArcGIS 云计算 gis server api 三、 服务基于统一的数据源格式 在 ArcGIS for Server 10.1 Manager 中发布服务时,使用了统一的 GIS 数据源格式 .sd(service definition files) , .sd 数据也是暂时 Manager 中唯一支持发布 GIS 服务的格式。此 .sd 服务文件可以来自于任何 GIS 资源,如: Geodatabase 、 Address Locator 、地图文档、 GP 模型、影像数据集等等,都可以将它们发布成对应的 GIS 服务。 .sd 服务文件是基于 7zip 压缩的文件,里面包含了服务属性、服务类型以及服务所展现的 capabilities 等相关信息。当然根据不同的服务类型 .sd 的内容也有所不同,例如: MapService 类型的 .sd 文件还可能包括切片信息、地图服务所依赖的数据源等;而其他类型的服务者没有这些信息。 3.1 、统一的服务文件格式,给我们带来什么便利呢? 例如:在实际生产流程中,或许需要制作数据和发布服务需要由不同的人员来完成,这样统一的服务文件 .sd 就能满足需求。不同人员协作制作服务的过程如下: · UserA 人员使用 Desktop 等工具来制图,然后将 map 文档保存为 .sd 格式,该过程需要此 .sd 选择包含所依赖的数据源; · 对于具有发布服务权限的 UserB 人员,就可以直接将包含数据源 .sd 发布成服务。 3.2 、统一的服务文件格式,在 Manager 内部是如何发布成服务? 在 ArcGIS for Server 10.1 Manager 里提供了内置的 GP 服务 - PublishingTools , Manager 使用者基于这个 GP 服务将 .sd 数据直接发布为对应的 GIS 服务。在应用程序中,开发者同样可以借助 Rest SDK 中这个 GP 服务,或者使用 Admin API 自定义流程来上传数据和发布 GIS 服务。 Manager 自带的上传数据和发布 GIS 服务的内部流程: · 首先将 .sd 数据上传到 Site 定义的 directories\arcgisuploads 目录下。 · 然后 Manager 使用内置的解压缩工具将上传的 .sd 数据解压到 directories\arcgisinput 目录下,解压缩后的文件包含 .msd 文档 , 以及一些配置信息,例如:切片信息等等。 · 最后 Manager 使用 Admin API 将 .msd 发布为对应的 GIS 服务。 在基于 ArcGIS Server Admin API 的二次开发,内部流程和 Manager 完全相同,但对于某些流程属性是可以自定义的,如 .sd 数据存储 / 解压路径等。 3.3 、统一的服务文件格式,给云架构带来了什么? 关于 ArcGIS 10.1 数据源对云架构的支持分为:公有云 和 私有云 两种方案。这种不同是依赖于公有云和私有云它们本身的不同性质,如:数据和服务托管的方式,是托管在 Internet 公有云提供商?还是企业私有的局域网内?等等。 正如前面所述,在 ArcGIS 10.1 外部是通过统一的 .sd 服务文件发布成对应的 GIS 服务:首先解压 .sd 文件,得到 GIS 资源文件,如 MapService 中的 .msd ,再使用 Admin API 将这个 GIS 资源文件发布为对应的 GIS 服务。 .sd 服务文件分为包含 (chosen the option to copy the data) 和不包含 ( not chosen the option to copy the data) 依赖的 GIS 数据,其中包含的 GIS 数据是以 File Geodatabase 形式存在。 其中包含依赖的 GIS 数据对公有云的 .sd 服务文件来说是必须的;而不包含 GIS 数据,使用局域网内的 GIS 数据,是私有云区别于公有云的基本特征。 根据 .sd 是否包含依赖的 GIS 数据有如下两种方案: · 依赖的 GIS 数据托管在 Internet 公有云的云端 如上所述,公有云方案中 .sd 文件务必包含依赖的 GIS 数据源,然后通过 ArcGIS Server Manager 内置的上传数据功能将数据上传,或者云端自定义的功能将其发布为 GIS 服务。 · 依赖的 GIS 数据托管在局域网的私有云内 在私有云方案中依赖的 GIS 数据源不一定非要打包在 .sd 中,可以来源于多种方式: i 、 每个服务逻辑单位的 GIS Server 在同样目录下都放置一份 .sd 所依赖的 GIS 数据。 ii 、 .sd 所依赖的 GIS 数据来源于网络共享目录 (UNC) 。当然需要保证每台 GIS Server 具有读写这个 UNC 文件的权限。 iii 、 .sd 所依赖的 GIS 数据来源于强大的 ArcSDE 。适用于大数据量、大并发操作的数据;同时对备份和迁移有很好的支持;也可很好的支持客户端 edit 功能等等。 无论在公有云中、还是在私有云中,支持统一的 .sd 服务文件有很多优势,特别是包含数据的 .sd 文件。 如:分离 生产 Geodatabase 库 和 web Geodatabase 库。一般在生产库中很多数据是没有通过审批的、或者没有核对的、或者是临时数据,而不能将这类 GIS 数据通过服务展现给 web 端用户。而可以定时 / 定任务的将通过审批的数据导出为 .sd 文件中的 web 库,并发布为 GIS 服务展现给 Web 用户。 四、多方位的安全机制 在 ArcGIS for Server 10.1 中,提供了多种控制机制以保证 ArcGIS Server 服务和数据的正常运行。 4.1权限与安全 在 ArcGIS Server 10.1 中,权限机制更加简便和安全,除了上述的用户级别的使用权限的控制,还可以有另外两种:对服务使用的控制 以及 ArcGIS Server 本身管理组件使用的权限控制。 对于本身管理组件控制。其权限分为三种: administrator 、 Publisher 和 user 三种权限。这权限的不同主要体现在: manager 页面展示功能的区别、 site 目录的访问权限 以及 是否能为某个特定 Map 服务创建 cache 等等。 对于服务使用的控制。对于某一特定用户,是通过该用户绑定的角色 (Role) ,判断该 Role 是否有权限使用某服务,或者使用该服务的文件夹来确定的。 当然对于服务权限控制, ArcGIS Server 根据权限信息的所在位置、或者控制级别不同,提供了四种验证和授权 (authentication and anthorization) 方式: ArcGIS Server built-in 内嵌型 、 LDAP 服务器型、基于 Windows Active Directory 型 以及 用户自定义型。 对于安全型不是很高的用户,可以采用 ArcGIS Server 内嵌型,这也是安装 ArcGIS Server 默认的方式,比较简单。所有的安全控制由 ArcGIS Server 自己完成,权限信息被放置到 Configuration Store 中。 如果对于安全要求比较高的用户,可以使用 LDAP 或者是 Windows AD 方式。 ArcGIS Server 将安全访问控制将 LDAP 或者 AD 上,有其提供的安全机制进行验证与授权,这样权限信息将在控制的服务器上。 对于客户认证信息,提供了基于 Token 和 Http 认证(分为: Basic 与 Digest )两种不同的验证模式,作为开发者需要有所关注。 除此之外,在 10.1 中还提供了一个额外的组件,名称为: Web Adaptor ,也就是新架构图中在 Site 之前的 GateWay 。 Adaptor 需要依赖于 web 服务器,主要承担的功能有两个: i 、将客户端的 ArcGIS Server 操作的 HTTP 请求,默认用基于 robin 的负载均衡分配到 Cluster 的某台 GIS Server 中。 ii 、安全认证。 还可以考虑将 Adaptor 置于反向代理容器中,以提供更加完善的性能和安全。 4.2容错与容灾 ArcGIS Server 充分的考虑容灾和容错能力。主要从 3 个方面来说明: i 、新模型的架构 在容灾方面,新架构支持热插拔、松散型、点对点的 GIS Server 节点,当任何一个遇到问题,都可以不会导致应用的崩溃;如果添加上用户自定义的控制流程,可以让 GIS Server 节点自动恢复。对于提供重要信息的 Site 站点事先做好备份,当灾难发生时,可以自动的切换到备份的 Site 站点上。 ii 、数据层 数据是 GIS 的核心。在 ArcGIS Server 10.1 中,数据要么来源于 Site 的 Configuration Store ;要么来源于远程的 Geodatabase ,如: ArcSDE 的数据。 对于来源于文件型的 Configuration Store 数据,可以借助各种硬件备份存储和恢复技术,做一个存储备份以防不测之用。 对于 ArcSDE 的数据,可以借助 ArcSDE 的容灾策略。如 : Oracle 的 Data Guard 等。 五、 结束语 ArcGIS for Server 10.1 将完美的支持基于云架构的应用,基于 ArcGIS Server 的云 GIS 应用将会遍地开花,让我们拭目以待 感谢 云板块 版主 beniy388 撰稿
个人分类: 科研资料|275 次阅读|0 个评论
产业发展靠市场(111219)
热度 2 ymin 2011-12-19 11:13
产业发展靠市场(111219) 闵应骅 一个产业的发展需要市场,一点一点扩大。如果市场兴旺,就会形成大的产业,这就是先应用,后推广。我不想抽象来谈这问题,让我们用云计算为例说说这个事儿。两年多以前,我在博客“ 云计算杂谈(090909) ”中就谈到,云计算对于中小企业是既省钱又高效的信息技术。把基础结构交给云,用虚拟计算机和存储。Amazon(亚马逊)就是这么做的,Google、Mirosoft、IBM许多大公司都在做,用户得到了实惠,也取得了经济效益和经验教训。本月IEEE Specrum做了长篇报道。 今年四月,Amazon EC云服务在系统升级时发生故障,各地的离线用户都无法上机达几小时甚至几天。同月,黑客侵入Sony的游戏站,把全世界7700万人的私人信息曝光了。6月,云存储供应商Dropbox一个软件故障有一段时间允许别人随便进入2500万顾客账户,不用密码,或者随便什么密码。公司老早就宣布过,这是不可能发生的。但却发生了。美国的私权交易所今年登陆了175次数据破坏,包括1300万个记录。这些数据也许会吓住一些用户,不想把自己的信息放到云中去。当然,我老早就说了,大企业,像中国银行、中石化等等这些大型企业,自己有足够的信息资源,没有必要,也不愿意把自己的资料放到云上去。但是,中小企业还是能够得到实惠的。问题是可信性的问题,可能让他们望而却步。严重的问题是:如果你在Amazom EC2上运行你的虚拟机,带有你自己的操作系统,Amazom让你选择6个云中心之一,然后分配给你一个服务器。加州圣地亚哥分校和MIT教授指出,另一个用户完全可以把自己的虚拟机置入同一个服务器,作为另一个用户的VMI,用各种方式来攻击你。在云存储中,大量使用文件公用。你上传一个文件,首先要检查云终端是否已经有这个文件。如果已经有了,就不要存过多的冗余文件了。这一般是用一个文件的哈希值来查找。当别人得到这个哈希值,他就可以下载这个文件。正因为如此,欧盟投资了一个三年1千万欧元(1.49千万美元)的可信云研究项目,包括两个应用:一个是家庭保健服务;一个是葡萄牙城市街灯系统。注意,这是带应用要求的,不是光写文章。 在我国,各个地区都在筹划建立本地区应用试点云计算中心。有人评价中美两国的云现状说,“区别在于:这边天天云大楼落成,那边天天云服务发布,这边各IT公司产品沾水贴云标签,那边云服务专业公司丛生,这边大手笔都有政府身影,那边云运营商都早已向企业收费运营。”一些地方政府或国有企业,投资上百亿,跟风上马,导致重复建设。我就纳闷,这些钱,将来怎么收得回来?有人建议搞云计算的标准化,我就纳闷,云计算都没有用起来,运营经验很少,怎么谈标准呢?于是,不得不写一些抽象不可操作的要求,空洞得很,没法用,对谁都够不成约束。 所以,一个产业的发展,应该首先探索市场的需要和大小,一步一步地扩大,而不是先划一块地,盖上好多楼,然后做研发,再去找市场。市场找到了,很好。市场做不大,这基本建设投资也许就打水漂了。
个人分类: 网络|2983 次阅读|7 个评论
“云出版”时代的个性化出版
热度 2 zhuruoyuan 2011-12-15 13:53
伴随着“云计算”“云服务”“云终端”“云存储”“云平台”等“云”家族成员的不断涌现,“云出版”也成为2011年中国数字出版最为炙手可热的新词。很多互联网数字出版企业摩拳擦掌,准备在这一新兴领域大展拳脚。不论是方正的“云出版服务平台”已经得到众多出版集团、报业集团和数字内容出版机构的加盟,还是号称国内最大的数字出版云计算中心——天津国家数字出版基地云计算中心投入运营,不论是同方知网宣布斥资5000万构建云框架下的“云出版+云服务+云数图”平台,还是番薯网发布的以中文图书搜索引擎为核心的“云阅读”平台,甚或盛大文学将自己标识改成了“Cloudary”以寓意自己将继续聚焦在“云中书城”的建设上,都没有带给人们清晰的“云出版”。   尽管大多数业界人士对“云出版”即云计算在数字出版行业的应用这一基本定位并无异议,但是“云出版”要点何在、如何落地,它究竟是一种产品、一种技术还是一种解决方案,却鲜有人能说得明白。   “技术今非昔比,观念一日千里,可你得承认,跑得最快的还是概念。”分析人士认为,现在的“云出版”对国内数字出版业而言尚是一个飘在云端的美好概念。   但是,概念的美好与否、先进与否,甚至正确与否,都不是人们最关注的,普通大众关注的是在“云出版”高速发展的时代,我们能做什么,我们要怎么做,我们能获得什么,真正建立起在互联网时代适合普通大众的出版方式,使每一个人都能享受“云出版”带来的实惠,才是互联网真正的目的。   随着Web2.0的发展和完善,人们发表思想、见解、看法的途径和方式越来越多,论坛、博客、微博、SNS、视频分享、百科、文档分享……这其实也是出版,并可以称之为“微出版”。特别是文档分享与转销成为众多出版机构、版权机构、资源拥有者最为喜爱的“微出版”方式。   创建于2007年的SCRIBD成为全球最为著名的文档分享和转销平台,数千家合作出版机构,数百万固定用户,数千万份文档和电子书,让人们轻松实现在线分享、出版文档。SCRIBD通过在线文档的分享系统不仅打破了信息封锁,甚至为用户创造了在线的出版收益,实现了实体出版所能达到的效果,其方式却更为灵活和简便,它不需要我们忍受编辑们的“冷嘲热讽”和不计其数的“修改”,不需要我们“不辞辛劳”联系出版商,不需要必须达到出版的数万甚至数十万的“字数限制”,也不需要我们担心印刷精美的书籍成为“糊墙”的装饰,这种绿色环保、灵活自主的新出版方式,受到了越来越多的人们甚至出版机构的青睐。   随后,这一新的出版方式在互联网上涌现出来,Yudu Freedom、Issuu、Docstoc、Calameo、Slideboom、Myplick……纷纷推出各具特色的文档分享平台,国内各式各样的文档分享平台也纷纷上线,豆丁网致力于打造全球最大的中文文档分享平台,百度文库、道客巴巴紧随其后。很多专业性的文档分享与转销平台也不断创新, 绿色森林 致力于建设科技商务为核心的文档译文转销、寄销云服务平台,并推出专业稀缺文献资源和多语和双语译文分享平台,包括 专利译文网 、 标准译文网 、 法律译文网 、 科技译文网 、 SCI 期刊译文网 、 行业报告网 、 咨询报告网 、 文书文案网 等8个独立的文档转销和云出版、云服务平台,服务于专业出版编译机构、咨询机构、企事业单位和专业人员;智客网和MBA智库文档关注于在线管理技术文档的分享;星期八关注于职场经验和资料的分享;新浪地产智库专注于地产知识文档的分享……   这些文档分享和转销网站,不仅满足了不同的机构和用户对个性化出版的需求,也满足了人们对知识和文档的不同需求,实现了多元资源的重组、优化和云端出版,为凝聚人类智慧,实现知识创富创造了高效的服务平台,也必将成为“云出版”时代不可或缺的重要部分。 原文发表于: 中国经营网 评论 《 朱若元:“云出版”时代的个性化出版》 2011-12-15 11:13
个人分类: 评论随想|2298 次阅读|3 个评论
[转载]云时代的企业应用数据挖掘
tonia 2011-12-7 12:20
本文主要分析了企业面对云时代的SaaS服务时,如何有效地对应用数据进行数据挖掘。首先分析了企业面对海量增长的数据时数据挖掘面临的挑战,其次提出了一种适合云应用环境的数据挖掘模式,最后对该方法进行了总结。 随着云时代的到来和SaaS概念的引入,越来越多的企业开始选择由SaaS应用提供商、运营商等通过互联网平台提供SaaS应用服务,SaaS应用的数据量面临着TB级的增长速度;不同的SaaS应用体系,提供的数据结构也不完全相同,数据有文本、图形甚至小型数据库;SaaS应用数据随着云服务平台的分布性特点,有可能分布在不同的服务器上,如何对这些异构异源的数据进行数据挖掘,是云时代的企业面临的难题。 图1 企业面临着在不同数据源上进行数据挖掘的挑战 如何从海量应用挖掘出合理的数据 对于企业而言,如何将各种SaaS应用数据进行整合挖掘,提炼出适合其使用的商业信息是企业的一大急迫需求。传统的BI模式大多基于数据仓库,是关系型数据库的模式。面对急剧增长的异构数据,传统的数据仓库和原有的并行计算技术由于挖掘效率低,已经不能解决海量数据挖掘工作,影响着数据的及时提取。 云时代企业数据挖掘也面临如下挑战。 挖掘效率:进入云计算时代后,BI的思路发生了转换。以前是基于封闭的企业数据进行挖掘,而面对引入互联网应用后海量的异构数据(据预计到2020年,爆发式增长的数据量将突破35ZB(1ZB=10亿TB))时,目前并行挖掘算法的效率很低。 多源数据:引入云计算后,企业数据的位置有可能在提供公有云服务的平台上,也可能在企业自建的私有云上,如何面对不同的数据源进行挖掘也是一个挑战。如图1所示。 异构数据:Web数据的最大特点就是半结构化,如文档、报表、网页、声音、图像、视频等,而云计算带来了大量的基于互联网模式提供的SaaS应用,如何梳理有效数据是一个挑战。 SaaS应用的数据挖掘希望能够通过海量数据存储平台,引入快速并行的挖掘算法,提高数据挖掘的质量。 适合云应用数据挖掘的模式建议 数据仓库建模阶段 为了应对SaaS应用大量异构数据,引入XML标记和交换数据。 由于XML能够使不同来源的结构化数据很容易地结合在一起,因而使搜索多样的不兼容的数据库成为可能,从而为解决Web数据挖掘难题带来了希望。XML的扩展性和灵活性允许XML描述不同种类应用软件中的数据,从而能描述搜集的Web页中的数据记录。 引入MapReduce算法,提高数据抽取转换的效率。 MapReduce算法是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。当前的实现方法是指定一个Map(映射)函数用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数用来保证所有映射的键值对中的每一个共享相同的键组。 MapReduce更适合如下场景。 ETL(数据提取转化加载)类的应用:从多个不同的源读取日志信息;分析以及清理日志数据;执行复杂的变换,比如“会话转换”;决定存储什么样的属性以及把信息装载到DBMS或者其他存储引擎中。 复杂分析应用:这种挖掘类型的应用需要对数据进行多步骤的计算和处理,通常一个程序的输出会是另外一个程序的输入,因此很难用单个SQL语句来表示,这种应用场合下,MapReduce是很好的候选方案。 半结构化数据:因为不需要对数据的存储进行格式定义,所以MapReduce比较适合处理半结构化数据,这些数据通常都是一些键值对。这些场合下,MapReduce非常适合做ETL的事情。 快速实施的系统:完善和健壮的低成本开源解决方案是MapReduce最大的优点。 引入HDFS的分布式存储模式。 HDFS系统简单,利于提高实施效率,适合海量数据挖掘。HDFS架构基于GFS体系架构 (GoogleFileSystem,简称GFS,是由Google设计并实现的一个分布式文件系统,基于大量安装有Linux操作系统的普通PC构成的集群系统),但比GFS架构精简。GFS和HDFS都采用“单一主控机+多台工作机”的模式,通过数据分块和复制(多副本,一般是3)来提供更高的可靠性和性能。GFS允许文件被多次或者多个客户端同时打开以追加数据,以记录为单位。而在HDFS中,文件只允许一次打开并追加数据。GFS中采用主从模式备份Master的系统元数据,当主Master失效时,可以通过分布式选举备机接替主Master继续对外提供服务,而由于Replication及主备切换本身有一定的复杂性,HDFSMaster的持久化数据只写入到本机(可能写入多份存放到Master机器的多个磁盘中防止某个磁盘损害),出现故障时需要人工介入。GFS通过内部采用Copy-on-Write的数据结构实现集群快照功能,而HDFS不提供快照功能。 引入Hive架构。 Hive是建立在Hadoop上的数据仓库基础构架,是一种可以存储、查询和分析Hadoop中大规模数据的机制,提供了一系列工具用来进行数据ETL操作。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。这个语言也允许熟悉MapReduce开发者自定义Mapper和Reducer来处理内建的Mapper和Reducer无法完成的复杂分析工作。 数据挖掘阶段 引入数据分析中间件,提供数据处理、数据探索、数据建模及模型应用等一系列功能,开发多种数据挖掘算法和统计建模方法,并能够方便、快速、高效地处理海量数据,为商业智能的应用提供更方便、更灵活的工具和服务。 数据呈现阶段 BI作为云计算的一种SaaS服务提供给企业,建立行业数据库。面对林林总总的SaaS应用,BI同样可作为一种SaaS服务提供给企业。同时,数据挖掘工具进行数据分析,可以发现重要的数据模式,这对构建知识库做出了巨大贡献——数据和信息之间的鸿沟要求系统地开发数据挖掘工具,将数据“坟墓”转换成知识“金块”。 数据挖掘模式图 图2 数据挖掘模式图 我们设计的数据挖掘模式图如图2所示。 企业数据层:企业数据来源于各类应用,如SaaS应用、企业内部应用数据和专有云应用。 数据仓库层:主要引入HDFS分布存储系统和Hive体系架构,通过MapReduce算法对数据梳理和提取。 数据挖掘层:引入基于XML数据分析中间件,实现统计查询和数据挖掘功能。 数据分析与BI应用层:将BI以SaaS服务的模式提供给企业使用。 总结 随着云时代的到来,企业面临的应用方式更加多元化,通过云的手段提供海量数据挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,更利于挖掘应用的推广以及专业的行业知识库的构建。 原文出处: http://cloud.csdn.net/a/20111010/305469.html
个人分类: cloud|2649 次阅读|0 个评论
DNA测序被数据淹没
Ripal 2011-12-6 14:47
DNA测序被数据淹没
在中国的华大 基 因(BGI)是全世界最大的基因组学研究院。这里的167台DNA组序器每天制造着相当于2000人的基因组。如此多的基因组使华大基因常常很难通过互联网或其他通讯线路将这些结果传送给客户或是合作伙伴,因为这需要几周时间。取而代之的是,该公司通过联邦快递邮寄包含了这些数据的电脑磁盘。华大基因公司云计算主管何思飞(音)说:“这听起来像是数码时代的模拟解决方案。”但他说,目前还没有更好的办法。基因组学领域被海量的数据所淹没。DNA测序正变得越来越便捷、越来越廉价,这一速率远远超过了摩尔定律(该定律预言计算机运作会变得越来越快、越来越廉价)。其结果是决定DNA序列的能力开始超越研究人员储存、传输以及分析它们的能力. 来自于纽约时报,这是褒华大还是贬华大呢? 华大很自豪,每月都有CNS的paper!
1937 次阅读|0 个评论
都云计算时代了,真实 必须让位 虚拟:刻章立等可取
热度 1 liwei999 2011-12-5 08:20
真实的?虚拟的? (空) - mirror 12/04 10:28 (232265) ◊ 都云计算时代了,连 servers 都虚拟啦。 (467 字) - 立委 12/04 15:36 (232286) 日期: 12/04/2011 15:36:54 真实的 必须让位。 我们每次 indexing 需要两百机器运行两周,没有一台是真实 地。 Download Download 可下载,可拷贝,当然是虚拟的。 电子表被作为麦当劳儿童套餐的玩具礼物的年代,还有人自制机械表,并夸口精准度达到电子表的1/10,那是愚公。 论坛网友大揭底
个人分类: 其他杂碎|3336 次阅读|1 个评论
[转载]云计算泡沫闪现 (难得一见的风险文章)
lilang 2011-12-2 15:19
转自南方都市报: 最新发布的《中国云计算产业发展白皮书》预计,到2012年,中国云计算市场规模将达606.78亿元。十二五期间,我国云计算产业链规模可达7500亿至1万亿人民币。诱人的发展前景,不但吸引了诸多企业杀入这个市场,甚至连很多地方政府都对云计算青睐有加,各种“云计算中心”先后在各地开花。 一方面,是国家扶植政策不断推出,发改委投入15亿元重金扶植,云计算十二五发展规划呼之欲出;一方面,是跨国巨头加大中国市场渗透力度,国内各地政府在云计算领域跑马圈地,多个城市打出建设“世界级的云计算产业基地”。一时间,云计算炙手可热,成为新兴产业中最热门的领域。 然而,在热闹的背后,泡沫这个“阴影”也如影随形。据浪潮集团对全国数十个云计算中心的调查,很多地方投巨资建成了所谓的“云”系统,资源利用效率却不足20%,云计算中心成了形象工程;中国工程院院士李德毅更是大声疾呼,千万不要把云计算搞成第二个房地产。多位业内人士在接受南都记者采访时都强调,发展云计算,关键是要将应用落地,要在应用创新上多下功夫,而不是拼规模、比设备,杜绝重复建设和资源浪费。 政策推动,云计算风起云涌 “公司的云计算项目,获得了发改委下拨的千万级扶持资金,资金前不久已经打到公司账面上了。”昨日,金蝶软件相关负责人向记者透露。记者获悉,除了金蝶,华东电脑、华胜天成、阿里巴巴、腾讯、百度等10余家知名软件公司和互联网公司的云计算项目,也同时获得了发改委下拨的数千万乃至上亿的扶持资金。 这是国家发改委在10月份联合工信部、财政部拨出15亿元人民币,成立国家战略新兴产业云计算示范工程专项资金后,向相关企业下拨的首批专项资金。据了解,这批下拨的资金总量达6.6亿元。 相比三部委成立的专项扶持资金,正在内部讨论的“云计算十二五发展规划(初稿)”,对云计算的扶持力度将更大更全面。一位已经看过初稿的东软集团相关负责人告诉南都记者,该规划的亮点,是鼓励相关企业进行云计算的应用服务创新,并对云计算给予财政支持。此外,该规划还明确指出,鼓励在资源、气候条件适宜的地方设立云计算资料中心,积极推动云计算落地。 政策扶持的背后,是滚滚的商机。正是看到中国云计算市场的高速发展势头,AMD、SAP、甲骨文等跨国巨头纷纷加大了在中国云计算市场的布局力度。 AMD全球高级副总裁、大中华区总裁邓元鋆在接受南都记者专访时指出,“中国已经成为AMD云战略的主战场。AMD 11月14日在北京全球首发的16核皓龙处理器,就是为云而生的。”SAP联席首席执行官孟鼎铭也告诉记者,中国市场正在发生快速变化,越来越多的东西放到云上面,云计算的趋势不可阻挡,云计算对于推动中国信息化的发展将起到关键作用。 跑马圈地,地方政府角逐“云中心” 最新发布的《中国云计算产业发展白皮书》预计,到2012年,中国云计算市场规模将达606.78亿元。十二五期间,我国云计算产业链规模可达 7500亿至1万亿人民币。诱人的发展前景,不但吸引了诸多企业杀入这个市场,甚至连很多地方政府都对云计算青睐有加,各种“云计算中心”先后在各地开花。 重庆市率先提出了打造亚洲最大云计算基地的口号。今年4月6日,重庆“两江国际云计算中心”正式开建,两江国际云计算中心总建筑面积207万平方米,计划总投资400亿元。重庆市的目标,是打造一个产值上千亿元规模的“云计算”基地,成为全球数据开发和处理中心。 上海、北京、深圳、广州四大一线中心城市,也加入到“云中心”的圈地战当中来。上海的目标是致力打造“亚太云计算中心”,培育十家年经营收入超亿元人民币的云计算企业,带动信息服务业新增经营收入千亿元;北京的“祥云计划”力争到2015年,形成500亿元产业规模;深圳的“鲲云计划”是希望利用云计算平台服务深圳乃至全球的企业用户,力争将深圳打造成“亚洲信息枢纽中心”;广州也正在部署实施“天云计划”,努力打造世界级的云计算产业基地…… 就连一些二三线城市,也在大踏步“造云”。日前,兰州市政府与浪潮集团达成合作协议,浪潮集团将在5年内投资20亿元,将兰州着力打造成西部地区的信息枢纽中心;河北的涿州也宣布要投资50亿元建立云计算基地;河北廊坊润泽信息港被称为目前中国规划最大的云存储数据中心,仅前期规划就是现在全球最大数据中心(位于美国芝加哥)的两倍多…… 据不完全统计,在我国,除西藏和新疆外,目前已经提出或业已制定云计算发展计划的地方政府已覆盖了其余30多个省市自治区。 泡沫闪现,云计算成房地产第二? “现在各地政府一谈到创新,就必谈云计算,很多地方连云计算是什么都没有搞清楚,就规划打造大规模的云计算中心。这一方面说明在政策和应用双重推动下,云计算正在深入人心,但同时也警示云计算确实存在泡沫。”北京天地超云公司一位负责人在接受本报记者采访时担忧地指出。 其实,对于云计算泡沫的担忧,不仅仅来自产业界。深圳某券商的研究员杨先生告诉记者,前段时间,他先后对深圳、南京、武汉等地的多个云计算基地进行了调研。“情况并不乐观,不少所谓的云计算中心,其实就是商业地产项目,科研力量根本就见不着。”海外市场的现状,也对中国云计算产业的发展亮出了警示灯。据悉,云计算应用成熟的美国,在经历了需求暴增期之后,数据中心的数量从过去1100个削减到现在的300个左右。 对于以云计算为名行圈地之实的现象,中国工程院院士李德毅公开指责,不少地方政府虽然将云计算定义为战略性新兴产业,但依然是采用原始的征地、盖房子和招商引资,将云计算搞成第二个房地产。“云计算本身是一种绿色计算,不是比规模、比设备、比厂房,发展云计算决不能变成简单的圈钱圈地。”据悉,一个课题组已经向国务院提交了一份针对云跃进的调研报告。该报告建议,对数据中心的建设进行集中管理以避免重复建设。 SAP全球高级副总裁芮祥麟告诉南都记者,国内外迄今为止,云计算的标准尚无定论。而一个标准都还没有明确的产业,很难做出足够的规模;长城电脑总裁周庚申也指出,云计算产业要发展,关键是要应用落地,而不是比拼概念。据周庚申介绍,长城电脑推出的云智方平台已经构建了医疗养老云、车联网平台、智慧楼宇等项目。“有了具体的应用,我们的云计算才真正落到了实处。 旁边报道 应用成为“云计算”推广关键点 联想推出“乐云”抢占制高点 云计算产业的健康发展,离不开政策推动,也离不开企业的各种创新应用。业内人士指出,云计算要在中国市场取得成功,其关键是要将应用落地,让用户真正体验到云计算带来的便利。因此,云计算的应用创新,就成为企业竞争的制高点之一。 昨日,全球第二大PC厂商联想集团在北京正式发布了“乐云”服务,正式涉足云服务领域。联想集团董事长杨元庆指出,移动互联和云计算的快速发展,为个人电脑带来了革新机会。联想推出“乐云”解决方案,标志着联想完成了硬件、软件、云端的全面布局,正在从“个人电脑”向“个人云”实现转变。 联想集团高级副总裁、移动互联及数字家庭业务集团总裁刘军告诉记者,个人电脑、通讯、电视等行业正朝着智能化的方向快速变革,一个融合的时代已经来临。用户未来将拥有多个智能终端,并渴求硬件、软件、云端整合的使用体验。此次联想集团推出的“乐云”,可以实现个人信息管理、互联互通、社交等三类服务,大大提升用户的消费体验。 据刘军介绍,在个人信息管理方面,“乐云”提供200G存储空间,支持多种文件格式的存取,并提供联系人数据时时备份服务。此外,该服务还支持“自动同步”功能,可实现各类终端的同步数据更新。 在发布“乐云”的同时,联想集团还推出了多款全新“乐终端”,包括智能手机乐PhoneS2,以及5英寸、7英寸、10英寸屏幕的平板电脑乐PadS2.此外,联想智能电视乐TV也首次亮相,并将于明年第一季度正式上市。 阿里巴巴和百度都收到国家发给的关于云计算资金扶持,联想是否收到此政策红包?对此问题,杨元庆没有正面回答,表示会积极争取。刘军表示目前没有把云计算商业化的计划。(文/南方都市报)
1592 次阅读|0 个评论
云计算知识图谱研究
LuDoor 2011-11-30 22:27
最近为了完成信息计量学的课程论文,前段时间收集的云计算的相关资料时也运用了一些信息计量工具,基于此就思索着将如何使用科研工具查找资料分析研究热点等问题写下来,于是有了这篇 基于citespace 的云计算科学知识图谱研究.docx 。——丁恒
1 次阅读|0 个评论
从云计算(Cloud Computing)到雾计算(Fog Computing)
eewyg 2011-11-25 22:20
最近做了一个关于云计算的专题讲座,问答的时候被问到云计算之后是什么。 世间万物,大体都是遵循一些规律的, 就如钟摆一样,从一头开始,摆到另一头,又回来 周而复始 我觉得,计算模式也是这样 最到的大型机 (集中式) 到后来的微机 (分布式) 最近发展成云计算 (集中式) 接下来是什么? 首先,应该轮到(分布式)了 其次,比原来的微机提升了 最后,应该是集中前两个模式的特长 这样一来,就是所谓的“雾计算”了 何谓“雾计算”? 雾计算就是把个人计算机虚拟化, 我们自己可以通过网络在任何地方任何时间用我们自己的计算云。 最近,在美国硅谷,就有一些人在推动“雾计算” 有兴趣话,看看下面几个网页: http://www.tsgsites-hostmonster.com/fogcomputing/ http://www.vmware.com/appliances/directory/246903 http://whatan00b.com/fog-computing
11491 次阅读|0 个评论
[广告]急招云计算方向博士后,求推荐
热度 1 eewyg 2011-11-24 22:06
不好意思,很久没来写。争取最近接着写一些我做研究的体会。 这里先贴个广告,帮我自己招2博士后。 Postdoctoral Opportunities in Cloud Computing at NTU We are looking to hire up to 2 self-motivated research fellows, working in the area of cloud computing in the school of computer engineering at Nanyang Technological University, Singapore. Topics of interest include, but not limited to Green Data Center Architecture Media Streaming with Cloud Support Data Analytics in Cloud Cyber Security in Cloud Computing Elastic Computing Model in cloud Duties involve theoretical research and system prototype, in collaboration with top-level universities and centers, such as Carnegie Mellon University, Stanford University, MIT, Bell-Laboratories, China Mobile Research and IBM Research. Applicants for these positions must satisfy the following requirements PhD degree in computer science, computer engineering, electrical engineering or a related discipline Research experience with publications in international conferences and prestigious journals Competency in Linux programming and application development Excellent communication and writing skills The successful candidate will receive a competitive remuneration package commensurate with his/her qualification and experience. The appointment can start any time and will be initially for one year, with possibility for extension up to two additional years. To apply, please submit by email, a letter of application , current Curriculum Vitae , reprints of one to three recent publications, and three references (name, position and email address of referee) before January 31, 2012, to ygwen@ntu.edu.sg . Screening of applicants for this call will be completed by February 15th, 2012, or until the position is filled. We regret that only short-listed candidates will be notified.
5732 次阅读|1 个评论
[转载]PaaS支撑了云计算
libing 2011-11-22 10:10
尽管互联网软件的架构体系千差万别,但不管是SaaS应用结构也好,云计算应用结构也好,我们基本可以将整个互联网软件技术划分为三个层次。这三个层次从上到下分别是: 1.SaaS(SoftwareasaService) 2.PaaS(PlatformasaService) 3.HaaS(HardwareasaService) 当然,这些技术层次的形成也有一定过程。早期的SaaS应用都是直接运行在硬件设施之上,也没有什么PaaS的支持。后来,随着虚拟技术的发展,以及云计算模式的日渐清晰, 不管是从理论上还是从现实中,都需要HaaS和PaaS的技术来支撑上层的SaaS应用。于是,HaaS、PaaS和SaaS的三个技术层次就逐渐获得大家的认同。 虽然,这三个层次都是以WEB技术作为支撑的,但与传统应用结构却有着很大的相似性。图1简单说明了云计算的三层技术与传统应用的技术结构的对比。 其中的PaaS技术,是云计算技术中最关键的技术层,在整个云计算体系中起着支撑的作用。尽管HaaS用虚拟化硬件或虚拟运行引擎的方式,为用户提供了可伸缩的计算能力和存储能力,但HaaS仅仅起到的是云计算的基础设施的作用,就好比传统应用中的硬件设施一样。而PaaS就相当于系统软件的作用,可以为上层提供丰富的API,以开发各种各样的SaaS应用。不过PaaS的目标并不仅仅像传统的系统软件那样提供一些基础性的API,而是提供了更多高级的服务型API。这样,上层的应用就可以利用这些高级服务,轻松地打造面向最终用户的具体应用。 那么,到底什么是PaaS呢? 我认为,PaaS就是以特定的互联网资源为中心,以开放平台的形式,对外提供WEBAPI服务的模式。因此,PaaS有下述三个明显特征。 互联网资源中心 如今,互联网行业的竞争已不再是纯粹的技术竞争,而是越来越多的转向互联网资源的竞争。这些互联网资源包括用户群、可检索内容、商业信息、网络关系群体和在线服务资源等等。从某种意义上说,PaaS的目的就是以平台服务的形式对外提供互联网资源的增值服务。事实上,PaaS平台就是为了互联网资源而生的,对于缺乏互联网资源的PaaS平台是没有任何生命力的。唯有PaaS平台上有价值的互联网资源,才是对平台开发者最大的诱惑。 此外,各种领域知名的互联网公司也纷纷将自己长期积累的资源进行重新整合,推出各自的PaaS平台,对外提供特定领域的增值服务。当然,向外开放资源的也不仅仅只有互联网公司,一些其他行业的企业也加入到资源开放行列。这使得互联网可以被平台化的资源越来越多,越来越丰富,而PaaS平台的发展也越来越迅速。 开放平台 开放是互联网的精神,而PaaS正是这种开放精神的具体体现。早些年,互联网的资源都给拥有资源的企业自己掌握的,对外仅仅提供最终客户的应用,几乎不开放给第三方开发者。 而当这些资源越来越多,价值越来越大的时候,拥有资源的企业本身已不再有能力去开发更多的增值应用。与此同时,有能力开发更多增值应用的第三方开发者,要求资源拥有方开放资源的呼声也越来越高。于是乎,一些资源拥有者开始逐渐开放访问资源的WEBAPI接口,并伴随这些WEBAPI的设计规划以及运营监控,久而久之就形成了PaaS平台。 对于第三方开发者来说,他们没有能力去积累庞大的互联网资源,但通过调用PaaS平台开放的WEBAPI,就能为最终用户提供满足其需求的应用。这些丰富的应用极大地发挥了原来被封闭的互联网资源的价值,让互联网资源真正成为了创造社会财富的工具,这正是PaaS开放平台的最大成功! WEBAPI PaaS平台是以WEBAPI形式体现的。除基本的后台管理功能外,不像最终的应用软件,人们看不到任何界面上的东西。PaaS平台完全是通过网络之间的WEBAPI调用发挥其平台服务的威力的。这些WEBAPI都是面向第三方开发人员的,最终用户看不到也不会去关心它。 WEBAPI与传统软件的API有很大区别,它与特定的语言和操作系统无关,完全采用标准的WEB协议或技术。任何语言或系统,只要遵循WEBAPI所使用的标准协议或技术,都能互相调用对方的WEBAPI。一个PaaS平台往往都会采用统一的标准协议来开放其WEBAPI,这些协议大都是建立在HTTP协议基础之上的,开发者只需按不同PaaS平台的规定来调用其WEBAPI即可。 在WEBAPI的形式方面大致有SOAP和REST两种风格。不过,由于SOAP在易用性和效率方面的问题,已逐渐被许多PaaS平台所抛弃;许多PaaS平台开始转向使用高效方便的REST风格的WEBAPI。由于REST风格的WEBAPI接口先天就是面向资源,因此在以资源为中心的PaaS平台中得到了迅速的发展。 PaaS的实质是将互联网的资源服务化为可编程接口,为第三方开发者提供有商业价值的资源和服务平台。有了PaaS平台的支撑,云计算的开发者就获得了大量的可编程元素,这些可编程元素是有具体的业务逻辑的。这就为云计算的开发带来了极大的方便,不但提高了开发效率,还节约了开发成本。有了PaaS平台的支持,WEB应用的开发变得更加敏捷。快速响应用户需求的开发能力,也为最终用户带来了实实在在的利益。正是因为这些原因,PaaS才成为云计算中最关键的技术之一。 PaaS运营模式 当前,PaaS平台技术成了各大互联网企业和阵营激烈争夺的主要战场,这场争夺战一点也不亚于当年的系统软件的争夺战。 然而,要做平台就意味着大量的资源和技术的投入。这不是一般的小企业能够做的,或者说小企业在做平台方面并没有什么优势。如果您是一家互联网企业的决策人,就应当清醒地认识到这一点。如果你拥有互联网资源和实力,就完全可以走PaaS平台化的发展道路,让你所拥有的资源发挥更大的价值。如果没有,则应该与各个PaaS平台合作,充分利用PaaS平台的WEBAPI功能,共享他们的互联网资源,从而实现全面的双赢。 对于拥有互联网资源的企业来说,开放互联网资源不但能最大限度地挖掘这些资源的价值,而且还能促进资源的增长。但是,一家拥有互联网资源的企业打算对外开放其资源之前,要注意下面几方面问题。 1.有自己的特色 PaaS平台提供的服务一定要有自己的特色,切忌盲目跟风。这里所讲的特色,首先应该是业务应用方面的特色,也就是说你所开放的PaaS服务最好是其他平台所没有的,或者是弥补了应用开发中缺少的服务。当然,如果在业务应用方面没有明显特色,也应该考虑是否在平台模式上有与众不同的特色。尽管大家都是类似的应用,但如果你开放的模式有吸引人的特色,也能在竞争中占得一席之地。 2.运营和控制能力 做PaaS平台是需要较强的运营和控制能力的。运营指的是PaaS平台的营销和推广,以及平台的监控和维护等多方面的工作。虽然说酒香不怕巷子深,但在互联网时代的再好的东西 如果不做营销和推广,也会被层出不穷的新生事物给淹没掉。而平台和监控与维护,更是起到保证PaaS平台健康发展的重要作用。如果在运营和控制方面没有做好准备,贸然开发PaaS平台就可能会出现混乱的局面,从而失去平台的真正价值。只要有良好的运营和控制能力,才是保障PaaS平台稳定运转和健康发展的根本。 3.渐进开放的策略 PaaS平台开放要遵循渐进式的开放原则,而不应该急于求成。如果直接将全部的资源和服务一下子都开放出来,第三方开发者未必能全面接受和消化。而某一资源或服务接口一旦开放,就必须维持该接口的长期稳定性,如果后期对不适当的接口进行调整,必将造成大面积的影响。因此,开发PaaS平台必须采用渐进开放的策略。成熟一批接口,再开放一批接口。其实,渐进开放也是保证PaaS平台健康发展的基本手段。 4.维护双赢关系 PaaS平台的成长始终是伴随第三方开发者的成长而成长的,因此,PaaS平台的经营方必须与第三方开发方形成相互依赖的协作联盟。唯有这样,才能从经济利益上根本保证平台健康稳定的发展,实现双赢的目标。 PaaS成功运营的关键是要能让使用PaaS平台的第三方开发者获得好处。PaaS运营的基本方法就是;一方面做好PaaS平台的推广工作;另一方面要丰富和完善PaaS平台的服务能力。相对来说,丰富和完善PaaS平台的服务能力更加重要。 对于第三方软件开发者来说,使用谁家的PaaS服务也是需要认真考虑的问题。一般来说,一个WEB应用可能会用到多种PaaS服务,不过就同类的PaaS服务,合理选择PaaS平台商将在一定程度上决定所开发的应用是否能获得成功。主要可以从几个方面来思考: 首先是商业方面的因素。你的应用是否真的要用到这些PaaS服务?集成这些PaaS服务所带来的商业价值,是否要大于为此支付的PaaS服务费用?因为一旦使用了某个PaaS平台的服务,就意味着与该平台建立长期合作关系。慎重考虑商业方面的因素是非常重要的。 其次是该PaaS平台是否稳定可靠。这一点是保证WEB应用质量的根本。 最后是选择服务良好PaaS平台。PaaS平台所提供的文档是否充分?申请和认证是否方便?PaaS平台是否提供了相应后台监控和管理功能?遇到问题是否能得到及时的帮助? 总之,PaaS运营模式要获得成功,需要运营方和开发方通力合作。一个PaaS平台要吸引广大开发者,就必须不断丰富和完善自身的服务能力,保障系统的可靠性和稳定性,提高服务质量。 PaaS下的应用开发 当前,在云计算平台下开发模式大致有四种:应用开发平台模式,虚拟程序平台模式,虚拟机平台模式,PaaS接入平台模式。 应用开发平台模式 平台向开发者提供完整的应用开发功能,包括数据定义、编码、测试和发布等所有开发工作,都在这个平台上完成。PaaS提供的WEBAPI也是与整个应用开发平台集成在一起的。这种应用开发平台有自己特定的编程语言,而为开发这提供的编程对象都是较为抽象的业务层面的东西。 虚拟程序平台模式 平台向开发这提供某些特定语言的虚拟运行环境和基本的可编程设施,开发人员在本地开发满足这些运行环境的应用,然后将应用上传到该运行环境。这类平台属于HaaS层,是为云计算提供基础计算和存储能力的。通常,这类平台会向开发人员提供相关的SDK,以及调试用的本地模拟器。一些平台会将其本身的PaaS服务接口放到SDK中,而开发人员也可以自行编码调用自身平台或其他平台的PaaS服务。 虚拟机平台模式 这是目前云计算环境中最低层次的开发模式,它利用虚拟化技术向开发人员提供一个最基本的虚拟计算机环境。目前,这种纯虚拟机模式是HaaS最普遍的表现形式。开发人员在这个虚拟环境上开发和运行程序与在本地真实的硬件环境中没有太大区别。严格地说,这类平台与PaaS并没有直接的集成关系,开发人员需要自己编程调用其他PaaS平台的服务。 PaaS接入平台模式 这类平台并不向开发人员提供计算能力,而是提供接入能力。开发人员需要自行解决应用系统所需的计算和存储能力,自行架设服务器或使用HaaS提供的虚拟计算资源等。所谓的接入,是PaaS平台与第三方应用之间达成认证关系,PaaS平台大量的用户资源将被引入到第三方应用,而第三方应用可以使用PaaS平台提供的大量服务,从而形式一种互利共赢的PaaS平台资源共享模式。对于开发人员来说,开发这类平台的应用需要的改造成本最低,开发人员调用平台的PaaS接口容易实现。 在这些平台上开发,特别是使用PaaS服务,确实与传统的开发方式不太一样。你会感觉到以前那些值得骄傲的技术和技巧似乎都用不上了,取而代之的都是一些脚本化的语言,或者是枯燥WEBAPI调用的组合,以及在网页中插入代表某种的PaaS服务的扩展标签。但不容置疑的是,这正是未来互联网软件开发的一个方向。因为,未来的互联网应用开发,就是将各个PaaS平台提供的素材粘合起来,这是一种被称为Mashup的应用开发模式。 因此,有人说:云时代的应用开发,编程技术已不再重要,重要的是应用本身! 当然,说这句话除了有开发方式转变方面的原因之外,还有软件使用模式转变方面的商业因素。用户可选的应用非常多,Mashup式的开发方式也让应用开发变得更容易。再加上SaaS应用的特点本来就没有传统软件那些烦琐的安装和卸载,用户对一个应用不满意,要换一家企业的应用也是很容易的。这就意味着,未来的开发必须以快速响应和满足用户的需求为主,而在企业竞争力中,开发技术本身只能退居二线。 作为程序员,我们将不得不面临这样的转变。也许,对于传统软件开发有深厚感情的程序员来说,这种转变或许会经历一定痛苦。但是,如果我们不能适应软件行业的这一变化,就可能会被这个行业所边缘化。同时,程序员在钻研技术的同时,要更加贴近用户,真正从用户的需求入手来选择不同的技术手段。这是一个商业驱动技术的年代,或许技术的进步可以促进新的商业模式,但总体的方向是商业驱动技术。我们也必须清醒地看到这一点,我们唯一能做的就是:拥抱变化! (本文来自《程序员》杂志0907期)
个人分类: 云与服务|2883 次阅读|0 个评论
云里雾里新技术
热度 1 lhj701 2011-11-21 23:10
云里雾里新技术 新技术的产生正如宇宙中一个个新星的孕育之时,由于没有成形,没有什么气候,在一般人的眼中,自然感觉是云里雾里,不如手中拿着的馒头感觉实在。而最近的云里雾里的两个新技术就是“云计算”和“物联网”,有人简称是“云里雾里”。 云计算是Cloud Computing ,其前身相关联的概念有:分布式计算、网格计算等等。正如“太阳底下没有什么新东西”一样,云计算机既有继承,更是发展。但云计算不仅仅一种技术,也是一种新的处理信息的商业化运作模式。 物联网是Internet of things ,随着无线技术和智能物体的增加和联网而逐步成熟,与其相关联的概念很多:RFID、Wireless sensor networks、普适网络等等。物联网这词已经路人皆知,但要你随便用一句话讲清楚啥是物联网,除了“物物相连的网络”,或是“让物体连接到互联网上”,还真是很难定义清晰,其中一个原因可能是物联网包容的东西太多了。 但就是你在“云里雾里”,也仍然阻挡不住它的发展和应用。云计算也罢、物联网也罢,其实都是 信息智能化新的具体应用 。 实际上,一直以来,人类在两个领域比较热衷,一个是在人自身上、一个是在人自身之外的世界上。人自身的研究会受到道德伦理的限制,尽管将来也许会有更大的突破限制。自身之外的一个热衷的领域是 信息的智能化:即让非人性的信息能够像人一样智能化:包括智能化响应、智能化决策和智能化处理。 云里雾里一方面说明在新技术发挥其威力之前,必然要遭人误解和冷落。另一方面,由于其符合社会发展的总趋势,就是在其前景不是很明朗时,仍然会有很多人清晰地透过“ 云雾 ”看到其强大的生命力。
个人分类: 物联网|3306 次阅读|2 个评论
科学发现简约化云数据库的建立
热度 1 acthinker 2011-11-21 19:59
现今的大多数科学发现以文字形式表达,特别是abstract, 科学论文中的图不看文字,很多都难以看懂,检索时特花时间。在云计算出现的今天,云的应用在科学方面已经落后于在民用商业方面的应用。 如果有一个简化的云库,将每一篇科学发现分类后,通过图像的形式自动的拼接起来,那么这将大大的促进科学发现的传播,提升科研的效率,节省大量的时间。 简单的讲,以分子与细胞方面的发现为代表,每一篇科学论文应该以这样的方式描述: 1,分类,标清楚发现所采用的种属,组织,细胞类型,发育阶段(所有的术语和名词都应标准化,以方便计算机检索) 2) 按照蒲先生所讲的 A-B-C理论,将发现简化到分子,用标准化的标志连接标明每两个分子之间的相互关系,点击该标识,可以在旁边显示支持该联系的原科学论文的图,图的后面 显示作者,杂志名和年代及超链接;每个节点在双击或者右键时,可以显示该分子的大小,定位,功能以及结构域等基本信息。 3)每一篇文章提交到pubmed后,其发现会自动被云数据库检索并且进行整合。 在云库的客户界面上,应具有如下功能: 1)按照每一条通路所在的种属,组织,细胞类型,发育阶段对发现进行组织和展示 2)适应触摸屏的展示技术,可以像立体相册一样,进行旋转,拖动,拉伸,缩放等,并有highlight和背景化处理 3)在界面四周提供其他搜索信息,比如另一种细胞,另一个发育阶段等等 简单的想这么几点,如果nature, cell等出版集团谁先采用这种方法,那么谁将在未来的科学出版中胜出,为科学发现的传播做出更大的贡献。
2571 次阅读|2 个评论
学术讲座: 超出图灵机的云计算
热度 3 Xiaogangjin 2011-11-21 14:19
讲座题目 :超出图灵机的云计算 讲 座 人 :中国工程院院士、欧亚科学院院士 李德毅 教授 时 间 : 2011年11月23日(周三) 8:30~10:00 地 点 :浙江大学(玉泉校区)邵科馆212 讲座提纲 : 一、互联网改变了计算机和软件的工作模式 二、网络科学十年形成对互联网的新认识 三、超出图灵机的云计算 四、云计算展望 欢迎广大师生参加!特别希望本学期学习《计算理论》课程的同学参加! 李德毅院士简介 李德毅,中国工程院院士,欧亚科学院院士,现任中国人工智能学会理事长,国家973项目首席科学家,国家和军队信息化专家咨询委员会委员,中国电子学会云计算专家委员会主任委员,博士生导师,清华大学、国防大学兼职教授。 http://cspo.zju.edu.cn/redir.php?catalog_id=21530object_id=29473
个人分类: 学术讲座|4573 次阅读|8 个评论
[转载]云平台
jsujs982 2011-11-21 13:43
云平台(cloud platforms) 顾名思义,这种平台允许开发者们或是将写好的程序放在“云”里运行,或是使用“云”里提供的服务,或二者皆是。至于这种平台的名称,现在我们可以听到不止一种称呼,比如按需平台(on-demand platform)、平台即服务(platform as a service,PaaS)等等。实际环境中的云平台:三种云服务。 之一::软件即服务 (Software as a service,SaaS):SaaS应用是完全在“云”里(也就是说,一个Internet服务提供商的服务器上)运行的。其户内客户端(on-premises client)通常是一个浏览器或其他简易客户端。Salesforce可能是当前最知名的SaaS应用,不过除此以外也有许多其他应用。 //云计算在腾讯来讲,业务部门对外提供的就是SaaS的模式,当客户提供QQ邮箱和Qzone的时候,他们用的就是一个软件服务形式提供。腾讯内部的基础架构部门会开发PaaS和IaaS的架构提供给业务部门,现在有了这个开放平台之后,IaaS和PaaS也向第三方提供的,他们在朋友社区和Qzone的应用也用了腾讯提供的IaaS和PaaS的架构。 之二::平台即服务   平台即服务(PaaS)是SaaS的一个变种,整个开发环境作为一个服务而提供。 微软正式推出云服务平台——Windows Azure 苹果于2011年6月7日在WWDC2011上,正式发布了iCloud云服务。 云平台(Cloud platforms):云平台提供基于“云”的服务,供开发者创建应用时采用。你不必构建自己的基础,你完全可以依靠云平台来创建新的SaaS应用。云平台的直接用户是开发者,而不是最终用户。 云平台是由搭载了云平台服务器端软件的云服务器、搭载了云平台客户端软件的云电脑以及网络组件所构成的,用于提高低配置或老旧计算机的综合性能,使其达到现有流行速度的效果。
个人分类: 物联网|2530 次阅读|0 个评论
[转载]云计算:改变我们生活的10个瞬间
jsujs982 2011-11-21 13:42
  每一项新技术的应用都会使我们的生活变得更加的方便,尤其是在这个“云“的时代,云计算技术在生活中的应用越来越广泛,我们也许有一天会突然发现,越来越多的生活习惯已经被悄悄的改变了。   摘要:每一项新技术的应用都会使我们的生活变得更加的方便,尤其是在这个“云“的时代,云计算技术在生活中的应用越来越广泛,我们也许有一天会突然发现,越来越多的生活习惯已经被悄悄的改变了。   在线办公软件   可能人们还没发现,自从云计算技术出现以后,办公室的概念已经很模糊了。不管是谷歌的Apps还是微软推出的SharePoint,都可以在任何一个有互联网的地方同步办公所需要的办公文件。即使同事之间的团队协作也可以通过上述基于云计算技术的服务来实现,而不用像传统的那样必须在同样一个办公室里才能够完成合作。在将来,随着移动设备的发展以及云计算技术在移动设备上的应用,办公室的概念将会逐渐消失。   云存储   在日常生活中,备份文件就和买保险一样的重要。个人数据的重要性越来越突出,为了保护你的个人数据不受各种灾害的影响,移动硬盘就成了每个人手中必备的工具之一。但云计算的出现彻底改变了这一格局。通过云计算服务提供商提供的云存储技术,只需要一个账户和密码,以及远远低于移动硬盘的价格,就可以在任何有互联网的地方使用比移动硬盘更加快捷方便的服务。随着云存储技术的发展,移动硬盘,也将慢慢的退出存储的舞台。   电子日历   我们的大脑并不是万能的,不可能记住我们所需要记住的每一件事。所以我们需要用一些东西来协助我们。最初,圆珠笔和便签就成了很好的选择。后来,人们可以在电脑上记下来,在手机上记下来,但这样做显得有点麻烦:我们需要在不同的设备上记录很多次。云计算技术的应用很简单的解决了这个问题。我们只需要在一台数码设备上记录一次,就可以在所有的设备商实现同步,甚至与电子邮件结合在一起,使我们的生活变得更加的方便。谷歌日历可以帮助我们做很多事情:提醒我们要在母亲节给妈妈买花,提醒我们什么时候去干洗店取衣服,提醒我们飞机还有多长时间起飞。谷歌日历可以通过各种设备提醒我们,即可以是电子邮件,也可以是手机短信,甚至可以是电话。   电子邮件   由于各种不同的原因,我们都会有几个不同的邮箱。而常常查看这些邮箱的邮件,就变成一件很繁琐的事情,我们需要打开不同的网站,输入不同的用户名以及密码。云计算服务商很好的解决了这个问题,通过托管,邮件服务提供商可以将多个不同的邮件整合在一起。例如,谷歌的Gmail电子邮件服务,可以整合多个符合POP3标准的电子邮件,用户可以直接在Gmail的收件箱中直接收取到来自各个邮箱中的电子邮件。   地图导航   在没有GPS的时代,每到一个地方,我们都需要一个新的当地地图。以前经常可见路人拿着地图问路的情景。而现在,我们只需要一部手机,就可以拥有一张全世界的地图。甚至还能够得到地图上得不到的信息,例如交通路况,天气状况等等。正是基于云计算技术的GPS带给了我们这一切。地图,路况这些复杂的信息,并不需要预先装在我们的手机中,而是储存在服务提供商的“云”中,我们只需在手机上按一个键,就可以很快的找到我们所要找的地方。   不用再下载音乐   音乐已成为每个人生活中必不可少的一部分。随着用户的需求,用来听音乐的设备容量也越来越大。不管是手机还是其他数码设备,存储问题一直是用户一个纠结的问题,总是会因为容量不够导致不能听到想听的音乐而苦恼。云计算音乐的出现解决了这一问题。我们终于可以不用再下载音乐文件就可以享受到我们想要的任何音乐了,云计算服务提供商的“云”为我们承担了存储的任务。   减肥健身以及理财   越来越多的诸如健身,减肥以及理财的网站出现在我们面前,现在移动设备例如iphone上也有了越来越多的这样的插件。正是云计算的出现导致了这一切,所有用户的庞大数据都可以在“云”里完成运算,然后直接呈现给用户结果。我们只需要按照服务提供商提供给我们的计划,就可以享受到专家级的服务。这种结合云计算的插件或者网站,会结合我们每天的信息(例如营养摄取,运动量,收支情况等等),由服务提供商来帮我们处理这些信息,我们只需花费很少的费用,就可以得到由专家帮我们量身定做的计划。   电子商务   电子商务现在已经进入了生活中的每一个角落,对于哪些不爱逛街的人来说,不用忍受逛街带来的劳累,就可以买到喜欢的东西是一个很棒的选择。电子商务不仅仅是应用在了生活中,企业之间的各种业务往来也越来越喜欢通过电子商务来进行。而这些表面简单的操作过程其实背后往往涉及到大量数据的复杂运算。当然,我们看不到这些,这些计算过程都被云计算服务提供商带到了“云”中,我们只需要简单的操作,就可以完成复杂的交易。   搜索引擎   如今的搜索,已经不仅仅是一个提供信息的工具。云计算技术赋予了搜索引擎强大的信息处理能力,我们的生活已经离不开搜索引擎了。当我们遇到解决不了的问题时,可以去询问搜索引擎;当我们想要买东西时,搜索引擎会告诉我们去哪里买;当我们要去旅游时,搜索引擎也会帮我们安排好一切。搜索引擎越来越像一个生活管家,使我们的生活更有质量,更加高效。   iPad   iPad的出现,大大改变了我们的生活。事实上,iPad并没有应用什么云计算的技术,但它却成为了云计算最好的终端设备。它的便携性,良好的网络支持,以及广泛的软件应用无一不是云计算技术今后的发展方向。iPad正变的和手机一样,成为人们所离不开的产品之一。iPad正在悄无声息的将云计算技术带进我们生活的每一个角落。
个人分类: 物联网|2297 次阅读|0 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-19 07:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部