科学网

 找回密码
  注册
科学网 标签 分布式 相关日志

tag 标签: 分布式

相关日志

0-1:减免通信延时的分布式实时滤波
热度 1 JRoy 2020-6-25 01:04
Parallel Filtering-Communication mode: 网络通讯/融合与节点滤波计算同步进行 网络协同“一致性”研究如火如荼十余载,源起复杂网络控制,后发展至分布式滤波和跟踪。但是现有所有的分布式滤波基本都是“滤波-融合-再滤波-再融合”这种“你方唱罢我登台,轮番上阵”的串行方式,或者说“鸡生蛋,蛋孵鸡”这种相互依赖迭代模式:所融合的对象就是滤波结果,而下一轮滤波的先验就是融合结果。 0-1的突破: 提出了 “一边滤波一边通讯融合”并行模式(即网络通讯融合与节点滤波计算同步进行, Parallel Filtering-Communication mode ) ,难点在于:没有鸡(滤波)怎么来的蛋(融合)?没有蛋(融合)又怎么来的鸡(滤波)?这就是我们Engineer们 施展拳脚 了。。。 团队近期两篇论文 (全世界独此两篇?) : 第1篇基于粒子滤波,借助Importance Sampling方法,巧妙实现了 高度 Parallel Filtering-Communication ; 第2篇基于高斯混合GM滤波, Parallel Filtering-Communication 实现难度较大,所实现的融合对象仅仅是目标数cardinality的估计,融合层次教浅有待进一步研究。 两个工作分别对最具代表性的两类滤波后验近似形式进行了“滤波与通信并行”机制设计,可以推广到诸多以粒子滤波和高斯混合为基底的其他多传感实时滤波器设计。 网络通讯与节点滤波计算同步进行的优势自不必说, 甚至有些场景下是唯一选择 !比 如局部节点的滤波计算占据了整个传感器扫描周期,根本没有剩余时间去搞通讯和信息融合 ---- 而这将伴随着传感器扫描周期越来越快变得普遍。。即使有些剩余时间,因为平行通讯可以完成更多周期的信息交换,传播更远,网络收益更大。。 1 A Distributed Particle-PHD Filter with Arithmetic-Average PHD Fusion Tiancheng Li , Franz Hlawatsch (Submitted on 17 Dec 2017 ( v1 ), last revised 20 Dec 2018 (this version, v2)) We propose a particle-based distributed PHD filter for tracking an unknown, time-varying number of targets. To reduce communication, the local PHD filters at neighboring sensors communicate Gaussian mixture (GM) parameters. In contrast to most existing distributed PHD filters, our filter employs an `arithmetic average' fusion. For particles--GM conversion, we use a method that avoids particle clustering and enables a significance-based pruning of the GM components. For GM--particles conversion, we develop an importance sampling based method that enables a parallelization of filtering and dissemination/fusion operations . The proposed distributed particle-PHD filter is able to integrate GM-based local PHD filters. Simulations demonstrate the excellent performance and small communication and computation requirements of our filter. Comments: 13 pages, codes available upon e-mail request Subjects: Systems and Control (cs.SY) ; Distributed, Parallel, and Cluster Computing (cs.DC) Cite as: arXiv:1712.06128 (or arXiv:1712.06128v2 for this version) submission Information Fusion,under revision 2. A Parallel Filtering-Communication based Cardinality Consensus Approach for Real-time Distributed PHD Filtering Tiancheng Li ; Mahendra Mallick ; Quan Pan Abstract: This paper proposes a new cardinality consensus (CC) approach called “prior-CC” to distributed probability hypothesis density (PHD) filtering based on a decentralized sensor network. In our approach, network-wide average consensus is sought with respect to the prior cardinality estimate. Unlike existing serial filtering-communication approaches, the prior-CC scheme allows the internode communication to be performed in parallel with the local filter calculation and requires only a small amount of interfacing fusion calculation and communication. This enables real-time filtering that minimizes data delay and is of great significance in realistic tracking systems. We provide details of the Gaussian mixture implementation of the proposed prior-CC-PHD filter based on a diffuse target birth model and analyze the filtering-communication parallelization. In addition, we evaluate the gain of the prior-CC scheme with respect to the filtering accuracy in comparison with the standard CC scheme via simulations using a stationary linear sensor network and a dynamic nonlinear sensor network, respectively. Published in: IEEE Sensors Journal ( Early Access ) Date of Publication: 22 June 2020 DOI: 10.1109/JSEN.2020.3004068 相关博文链接: 多源信息融合的Best Fit of Mixture原则 多目标信息融合问题 分布式网络信息共享:Many Could Be Better Than All 轻松多传感器多目标探测与跟踪! 通讯量最小的分布式多目标跟踪器 基于多传感器观测聚类的鲁邦多传感器PHD滤波 基于受限测距传感网的分布式多目标跟踪 基于算术均值一致性的分布式伯努利滤波目标联合探测与跟踪 基于算术均值一致性的高效、分布式、联合传感定位与多目标跟踪
个人分类: 科研笔记|4408 次阅读|3 个评论
热力发电厂的技术发展方向
wusaite 2019-7-31 10:03
热力发电厂的技术发展方向 伍赛特 以火力发电为主的热力发电厂一直是沿着不断提高蒸汽初参数、增大装机容量的技术方向发展的。我国的热力发电厂中参数较低的机组已经开始逐步淘汰,在建机组以亚临界参数为主,少量引进超临界机组。 目前国产化超临界技术、超超临界技在国内已有应用。由于进一步提高机组的参数受到材料科学技术水平的限制,而各种复杂循环和复合循环技术日渐成熟,所以在能源利用、环境保护和可持续发展等各个方面都具有优势的燃气轮机 - 蒸汽轮机联合循环、磁流体( MHD )发电技术、热电联合生产等等多种循环复合技术、多联产能源技术、分布式能源供应系统、多种能源综合供应技术,也是当前及未来热力发电厂的技术发展方向。 核电在热力发电厂的一次能源构成中的比重越来越大,是化石燃料资源枯竭之后、大规模利用太能(太空利用)之前的主要能源。如果材料技术能有所突破,也将在热力发电工业领域引起连锁的技术发展和突破。 由于人类活动中二氧化碳排放量最大、最集中的行业就是火力发电业,所以 CO 2 减排技术也是热力发电厂的重要技术发展方向之一。 参考文献 伍赛特 . 柴油机应用于发电设备的行业前景展望 . 上海节能 ,2019(02):130-134. 伍赛特 . 分布式发电系统技术特点及应用前景展望 . 通信电源技术 ,2019,36(05):123-125. 伍赛特 . 重型燃气轮机研究现状与技术发展趋势展望 . 机电产品开发与创新 ,2019,32(02):65-67. 伍赛特 . 微型燃气轮机技术特点研究及其应用于分布式发电领域的前景展望 . 通信电源技术 ,2019,36(06):45-48. 王承阳 . 热能与动力工程基础 . 北京:冶金工业出版社 , 2010.01:131.
个人分类: 科普集锦|3582 次阅读|0 个评论
轻松多传感器多目标探测与跟踪!
热度 2 JRoy 2018-9-13 00:56
在几乎所有(有关传感器的)参数和(有关目标的)模型条件均未知的情况下,怎么做到:采用一个无线传感网(节点之间还可能非相互独立)去探测、跟踪未知数目的一群目标? 传统上来说,就是采用一个传感器去跟踪估计一个目标,滤波器的设计也往往要基于准确的传感器参数(比如噪声统计特性、杂波率、漏检率等)和相对准确的目标模型信息(否则就需要构建多模型或者自适应模型进行近似或学习逼近),这些所涉及的参数和模型,任何一个未知都会给估计跟踪带来很大困难!比如常常借助于有效的系统辨识或者参数学习机制等等,滤波器才能够有效运行。 那么一堆传感器(特别是分布式网络链接起来)和一堆目标呐,什么属性都完全未知的时候呐?不仅仅是数量的升级,还可能带来传感器之间和目标之间的交互关联等复杂问题!这就使得多传感器多目标跟踪成为一个更为棘手的难题!大道至简,难到一定程度的问题也许可以用简单的方法解决! 请看下文所提出的一中 Lazy Networking Approach: 轻松网络协作方法,只需要Flooding 和 Clustering两个操作, 就可以应对各种参数和模型未知,方法简单计算快、效果可以胜过提供了真实参数和模型信息的传统滤波器(也就是先不让滤波器去操心参数和模型未知的问题,给它们最理想的条件)! Distributed Flooding-then-Clustering: A Lazy Networking Approach for Distributed Multiple Target Tracking Authors: Tiancheng Li ; Juan M Corchado ; Huimin Chen Abstract: We propose a straightforward but efficient networking approach to distributed multi-target tracking, which is free of ingenious target model design. We confront two challenges: One is from the lack of statistical knowledge about the target appearance/disappearance and movement, and about the sensors, e.g., the rates of clutter and misdetection; The other is from the severely limited computing and communication capability of the low-powered sensors, which may prevent them from running a full-fledged tracker/filter. To overcome these challenges, a flooding-then-clustering (FTC) approach is proposed which comprises two components: a distributed flooding scheme for iteratively sharing the measurements between sensors and a clustering-for-filtering approach for target detection and position estimation from the local aggregated measurements. We compare the FTC approach with cutting edge distributed probability hypothesis density (PHD) filters that are modeled with appropriate statistical knowledge about the target motion and the sensors. A series of simulation studies using either linear or nonlinear sensors, have been presented to verify the effectiveness of the FTC approach. Published in: https://ieeexplore.ieee.org/document/8455759 DOI: 10.23919/ICIF.2018.8455759
个人分类: 科研笔记|3887 次阅读|8 个评论
分散化的诱惑(171116)
热度 2 ymin 2017-11-16 09:37
分散化的诱惑( 171116 ) 闵应骅 IEEE Spectrum 2017/11 号上发表一个电视节目的反馈,叫“ THE LURE OF DECENTRALIZATION ”。此文谈的是一个老问题,我在过去的博文里多次提到分散和集中的矛盾,它们各有好处,也各有问题。最近美国一个电视人推出一个叫“硅谷”的节目,头牌主持人 Richard Hendricks 痴迷于建造分散式网络的梦想,其中提到近年来许多人努力在做分散式的互联网。回想到上世纪八十年代,大部分通信网络都是集中式的。在美国, ATT 是一个由政府规定的垄断企业,连接是专用的点对点通道,连接非 Western Electric Co. (这是 ATT 的公司)及其子公司的设备是被禁止的。此后,互联网大发展,变成开放的、分散的,包交换保证了它的健壮性,互联网协议强制开放和互通。端到端原理是只管数据从一个点移到另一个点,不管它经过那些点,成为网络透明性的指导原则。半个世纪以后,网络仍然是分散式的,但其上的 WWW 却不是。一些大公司实际控制了流量和贸易,政府监控 Web ,控制存取,而成为许多监控者之一。那么, P2P 是不是回答了这个问题呢? 技术人员有有力的工具创建分布式系统,譬如 Mesh 网络, P2P 协议,密码,和区块链。最近的努力包括给予区块链的以太坊。有人提出“没有脸书的脸书”,“没有优步的优步”,这是可能的,但好像又不太可能。 Napster 是一个 P2P 网络,曾经很成功,但有一个中央目录,也不是完全分散。它是一个比特流,用 P2P 协议,曾广泛应用了一段时间。 Richard Hendricks 想象他的 P2P 网络存储数据于一批手机里面。问题是我的数据愿意随机地存到别人手机里吗? 10 年以后,也许我要那些照片,那些手机也许没了,数据也许已经抹掉了。用节点实现的系统对此没有一个人负责。当 Mesh 网络失效,我找谁去?还得找区块链。 另一方面,分布式体系结构有一个工程内涵。它提供有机增长和恢复,它是民主使用和控制的摇篮。有时候,无人负责可能是好事。正如法律学者 Larry Lessig 所指出的:管理靠四个因素实现:法律、标准、市场、和体系结构。记住,工程师们只能控制其中之一。 分散和集中管理各有长短。分散管理局部可以高效率,全局性同步会很困难,出错影响面小;而集中控制对于局部事务严重影响效率,出现全局性错误影响就很大。在多处理器系统中,一个处理器可以完成的事情,它自己就解决了,用不着启动全局,计算效率就会高。如果它每一步都要请示控制中心,增加了许多通讯,效率就下去了。但是,当它们进行大型问题的计算的时候,就必须同步,按照统一的步伐进行,中央控制就显得比较有效。又如图像处理的 CPU 、 GPU 混合芯片,自己增加了许多数字信号处理的技术,在一个相当复杂的计算中,不需要中央 ` 控制,也不需要向中心汇报,自己单独处理,效率就高多了。回想在 RISC 和 CISC 的长期争论中,简短指令也是有这个好处。出错的影响也限于局部,不像集中控制,如果中央控制出现错误,那就一定是大错,影响会很严重,容错也就会比较难。但集中控制便于启动大任务,能够动用大量资源,而这对于分散控制系统就比较困难。在网络环境下,情况完全类似。 P2P 提供了一种局部化的方案,但给全局的管理出了难题。现在讲人工智能也有这个问题,把个体搞得很强大,中央控制就会更困难。
个人分类: 计算机|9805 次阅读|6 个评论
[转载]一种高性能的分布式网络爬虫
huapei1989 2015-4-24 08:44
1 爬虫应用程序的种类 在应对不同场景的应用时,需要有不同的爬虫策略。目前主要有以下几种: 1.1 广度优先爬虫: 如果是为了构建一个搜索引擎,那么一个高性能的爬虫首先应该从一个较小集合的页面开始,由于页面中还会有其它页面的链接,其就以广度优先的策略来抓取其它链接所指向的页面。当然,在实际使用中,往往并不是严格的遵循广度优先的策略,可能会重点先抓取预先定义好的比较重要的页面。 1.2 对页面重爬以进行更新: 由于一个固定的页面在一段时间后可能会发生改变。因此,可以简单的在一段时间后再进行一次全面的广度优先爬行。当然,这肯定会涉及到如何避免重复的抓取某个页面。后文会说明当前比较普遍的一个解决此问题的方法。 1.3 垂直搜索爬虫: 所谓垂直搜索,即某些搜索引擎可能只是想关注某一领域的内容。因此,爬虫也只是抓取和主题相关的页面。 1.4 专注“Hidden Web”的爬虫: 网络中很多的内容并不是直接就可以访问的,可能有些内容需要我们对网页中的表单进行相关填写后才能获取到,因此专注“Hidden Web”的爬虫就是设法抓取这样的隐藏页面。 2 爬虫的基本体系结构 我们希望设计一个爬虫,其能够较为方便的适应多种不同的爬行策略。因此,将爬虫的体系结构分成了两个主要部分:应用端和系统端。如下图所示: 应用端主要功能是决定在当前状态下,我们紧接着要请求哪一个页面,即向系统端发起一波URL请求。系统端的功能就是下载所请求的页面,并将这些页面返回给应用端以进行分析和存储。 由此就发现,我们主要可以在应用端配置不同的爬行策略,和系统端在不同的策略下几乎做着相同的事情。应用端主要负责完成以下几件事:对网页的解析、维护一个数据结构——其保存着我们已经发现了哪些网页、与系统端和存储部分的通信。 乍一看,似乎实现这样一个系统没什么大不了的,但是若想做到每秒下载很大数量级的网页,还是需要注意很多地方的,后文会对该体系结构进行细化。 3 谈谈如何避免重复抓取 想想也能知道,基本思想就是在每次抓取前和当前以抓取的网页进行一次比较,判断该网页(集)是否已抓取过。具体的实现方法有很多种,这里给出一种采用Hash函数的方式。 我们通过Hash函数存储网络爬虫的遍历轨迹,并规定某一Web页被遍历过,则在哈希表中的相应部分填1,否则填充0。哈希函数可以采用MD5。也就是说用相应位为1的URL的MD5集合判断URL是否已抓取过,如果没有被抓取过,则放入未爬行的URL数据中,否则放入已爬行的URL库中。 4 体系结构的细化 之前的内容可以看做是一个基本思想的介绍,接下来将对分布式爬虫的设计进行更加详细的说明。 如我们之前所示,我们已经将爬虫的体系结构分成了两部分:应用端和系统端。这里我们先对系统端进行详细的说明。系统端本身就包含很多专门的部件:爬虫管理器、一个或多个下载器以及一个或多个DNS解析器。所有的这些部件再加上应用端都可以在不同的机器上运行。 爬虫管理器的职责就是从应用端那里接受URL输入流,并其转发给可用的下载器。当然与此同时,还要遵循robots协议。robots协议就是指网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。 下载器就是一个高性能的HTTP客户端,其能并行地下载上百个网页。 一个更为详细的爬虫配置如下图所示: 4.1 爬虫管理器: 爬虫管理器是我们系统的核心部件,也是首先被启动的部件。之后,其它部件才开始运行,并“登记”到管理器上,以提供或请求服务。管理器接受来自爬虫应用程序的URL请求,每一个请求都有一个优先级、一个包含几百或几千URL的文件指针。管理器将会对这些请求进行排队,最终会载入相应的文件以准备进行下载。 当载入含有URL的请求文件后,除非该地址已经被缓存了,否则管理器就开始到DNS解析器中查询相应服务器的IP地址。管理器之后就请求在Web服务器根目录的robots.txt文件,来看一下哪些URL地址是可以抓取的。最后,当解析完robots文件并移除了不能抓取的URL后,没有被移除的URL就可以”绑“在一起发送给下载器。 4.2 下载器和DNS解析器: 下载器是用Python实现的,其通过与不同的服务器简历1000个连接来从Web上获取文件,并将获取到的文件存储到一个目录下。由于一个下载器通常每秒能够下载几百甚至几千个页面,因此大量的页面不得不在一次磁盘操作中全部写入。为了避免重复的页面被下载,应用端可以对这些已经完成的请求进行跟踪,这样下载器就可以据此来调节自己的下载速度。对于DNS解析器,我们需要注意,DNS解析的过程将产生一定的网络流量,这一定程度上会限制爬行的速度。 5 分布式扩展 我们的设计目标是为了能够很方便的扩展所设计的爬虫结构,以提高其性能。为此,在上一个图的基础上,我们可以在添加额外的下载器和DNS解析器以提高我们的性能。我们估计为一个管理器配备8个下载器将会使得整体的速度足够快,这也因此需要2或3个DNS解析器。除了这一点,我们还可以创建第二个爬虫管理器。这样,应用端将需要在两个管理器之间分离它的请求。具体配置见下图: 在以上配置中,我们用到了4个应用端。我们可以使用一个哈希函数将所有可能的URL分成4个子集,这样每个应用端负责处理一个子集。管理器将会确保为不同应用端下载的页面存放在每个应用端所确定的单独的目录。如果在解析机建,一个部件遇到了一个超链接属于另外一个子集,则那个URL就被转发到处理相应子集的应用端中。 在这样的分布式结构中,唯一涉及到大量数据通信的就是已经下载的页面间的传输。因此,理论上,如果我们允许下载的页面存储在不同的位置,则我们的系统能够在范围非常广的分布式环境中使用。 ————————————————————————————————– 以上内容为 Design and Implementation of a High-Performance Distributed Web Crawler 所讲述的爬虫系统的原理介绍,原文在文章的后半部分还对所涉及到的数据结构以及一些算法技巧进行了讲解,有兴趣可以进行深究。虽然以上内容不足以让我们实现一个爬虫,但可以对爬虫系统的设计进行一些思考,各大搜索引擎的架构都是相对封闭的,只要我们能设计出一个符合我们需求的爬虫系统便是成功。 转载自:http://182.92.216.91/?p=121
个人分类: 闲言碎语|2417 次阅读|0 个评论
[转载]国家能源局公布2013年我国光伏发电情况
mhchx 2014-4-30 11:10
4月28日 国家能源局 公布数据,2013年,全 国新增光伏发电装 机容量1292千瓦,其中光伏电站1212万千瓦,分布式光伏80万 千瓦。   在国务院《关于促进光伏产业健康发展的若干意见》及一系列配套政策支持下,2013年我国的光伏发电快速发展。截至2013年底,全国累计并网运行光伏发电装机容量1942万千瓦,其中光伏电站1632万千瓦,分布式光伏310万千瓦,全年累计发电量90亿千瓦时。   截至2013年底,全国22个主要省(自治区、直辖市)已累计并网741个大型光伏发电项目,主要分布在我国西北地区。累计装机容量排名前三的省区分别为甘肃、青海和新疆,三省区之和超过全国光伏电站总量的60%。   分布式光伏发电主要分布在电力负荷比较集中的中东部地区,华东和华北地区累计并网容量分别为145万千瓦和49万千瓦,占全国分布式光伏的60%。排名前三的省份分别为浙江、广东和河北,三省之和占全国分布式光伏并网总容量的40%以上。
个人分类: 太阳能|1452 次阅读|0 个评论
[转载]2014年我国新增光伏发电建设规模1400万千瓦,分布式超过半数
mhchx 2014-2-14 15:24
2月 12日国家能源局下达2014年光伏发电年度新增建设规模的通知。《通知》要求,2014年光伏发电建设规模在综合考虑各地区资源条件、发展基础、电网消纳能力以及配套政策措施等因素基础上确定,全年新增备案总规模1400万千瓦,其中分布式800万千瓦,光伏电站600万千瓦。 《通知》表示,各省(区、市)2014年新增享受国家补贴资金的光伏发电项目备案总规模原则上不得超过下达的规模指标,超出规模指标的项目不纳入国家补贴资金支持范围。个人在住宅区域内建设的小型分布式光伏发电项目,在受到地区规模指标限制时,省级能源主管部门可向国家能源局申请增加相应规模指标。鼓励各地优先备案采用新技术、新产品的光伏发电项目。 《通知》强调,对于甘肃、青海、新疆(含兵团)等光伏电站建设规模较大的省(区),如发生限电情况,将调减当年建设规模,并停止批复下年度新增备案规模。对于青海省海西地区、甘肃省武威、张掖和金昌等地区,青海省和甘肃省能源主管部门安排新建项目时应关注弃光限电风险。 《通知》要求,各省(区、市)严格按照年度建设规模指标实施项目备案管理,密切跟踪建设进度,确保备案项目如期建成投产。国家能源局将根据各省(区、市)光伏发电建设和运行情况,在年中对建设规模指标进行少量调整。 同时,电网企业依据年度建设规模安排,及时制定配套电网建设方案,协调推进配套电网建设和改造,及时做好光伏发电项目的电网接入和并网运行服务工作。对分布式光伏发电项目,电网企业要保障用户安全可靠用电,及时做好电量计量、电费结算和国家补贴资金转拨等工作。 这表明:我国太阳能光伏发电将在国家能源局引导下持续发展。
个人分类: 太阳能|1595 次阅读|0 个评论
[转载]Hadoop
sy1110 2013-10-30 12:24
1.Hadoop是什么 Hadoop原来是ApacheLucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 2.下面列举hadoop主要的一些特点: 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。 可靠性(Reliable):hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。 3.Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。 HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。 4.Hadoop还实现了MapReduce分布式计算模型。 MapReduce将应用程序的工作分解成很多小的工作小块(smallblocksofwork)。HDFS为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas),并将它们放置在服务器群的计算节点中(computenodes),MapReduce就可以在它们所在的节点上处理这些数据了。 如下图所示: 5.HadoopAPI被分成(divideinto)如下几种主要的包(package) org.apache.hadoop.conf定义了系统参数的配置文件处理API。 org.apache.hadoop.fs定义了抽象的文件系统API。 org.apache.hadoop.dfsHadoop分布式文件系统(HDFS)模块的实现。 org.apache.hadoop.io定义了通用的I/OAPI,用于针对网络,数据库,文件等数据对象做读写操作。 org.apache.hadoop.ipc用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块。 org.apache.hadoop.mapredHadoop分布式计算系统(MapReduce)模块的实现,包括任务的分发调度等。 org.apache.hadoop.metrics定义了用于性能统计信息的API,主要用于mapred和dfs模块。 org.apache.hadoop.record定义了针对记录的I/OAPI类以及一个记录描述语言翻译器,用于简化将记录序列化成语言中性的格式(language-neutralmanner)。 org.apache.hadoop.tools定义了一些通用的工具。 org.apache.hadoop.util 定义了一些公用的API。
个人分类: 点滴收藏|1724 次阅读|0 个评论
现在看MPI很有味儿道,忙着实验群智能的计算效能
fswdong 2013-4-1 21:31
说来还真是羞答答的,群智能和组合优化搞了一段时间,竟然找个堂而皇之的借口放置一边,现在为云所动结果不尽人意,划拉出来MPI品味儿了两三周,速度真格比之前的Hadoop更适合HPC,真想建立起来一个群智能的分布计算,目前只是简单的分布计算
个人分类: 其他|4928 次阅读|0 个评论
[转载]matlab分布式或并行式计算经验
haijunwang 2013-2-25 15:27
Matlab Parallel(Distributed)Computing Toolbox初探zz 我的实验室有五台双核Pentium D 925计算机,这正适合用来做分布式或并行式计算。我打算只调用那些计算机中的一个核参与计算,留下一个核可以让其他人正常地使用该计算机。我们在这里将会介绍Matlab中Distributed Computing Toolbox的基本使用方法,目标是实现简单的分布式计算。 Distributed Computing Toolbox就是分布式计算工具箱,简称DCT,其可以在多台计算机组成的Cluster中实现分布式或并行式计算。简单来说,我们是把一个很繁重的工作,分解成许多小任务,然后分给不同的计算机去处理,最后把计算结果汇总,以达到提高计算效率的目的。 Matlab的做法是这样的:在每台参与计算的计算机中启动一个叫Matlab Distributed Computing Engine的服务,该服务能启动参与计算的worker的Matlab session和管理各台计算机workers的job manager。Job manager对workers进行管理,给workers分配计算任务,接收workers计算后的结果。而你本人就是client,你要把你的工作分解为多个任务,然后把任务给job manager。job manager就会根据workers的多少和空闲情况,适当地把任务分配给workers去做。workers完成任务后,会把结果返回给job manager。当所有workers都完成任务后,你,即是client,便可以从job manager里取回结果。 具体的概念可以参考Matlab的帮助,我们也不能说得很准确。我们在这里只想给出使用Matlab实现分布式计算的简单步骤,以便初学者快速入门。 1、首先第一步要做的,就是令每台要参与计算的计算机组成局域网。比如我有三台计算机,其IP地址分别为192.168.1.101-192.168.1.103,以下简称计算机名为101,102和103。 2、在三台计算机中安装Matlab Distributed Computing Engine(mdce)服务。安装方法为:如Matlab的安装地址为C:\Program Files\MATLAB\R2006b,则Start-Run-cmd到命令行窗口,进入C:\Program Files\MATLAB\R2006b\toolbox\distcomp\bin目录,运行mdce install命令安装mdce服务。接着去控制台-管理工具-服务,查看Matlab Distributed Computing Engine的属性。进入登录页,选择“此帐户”,输入NT AUTHORITY\NetworkService,删除下面的密码,让该服务以NetworkService的形式登入,以便该服务存取共享的映射网络驱动器中的原程序文件。接着便可以启动该服务了。注意以后重新开机,该服务都会启动,当然你可以设置让它手动启动。 3、启动job manager。任一台计算机都可以启动job manager,只要mdce服务启动了即可。比如使用计算机101,在C:\Program Files\MATLAB\R2006b\toolbox\distcomp\bin目录下,运行以下命令:复制内容到剪贴板代码:startjobmanager -name frenseljobm该命令启动jobmanager,其名字叫frenseljobm,启动地点为计算机101。 4、启动workers。任一台计算机都可以启动workers,只要mdce服务启动了即可。比如使用计算机101,在C:\Program Files\MATLAB\R2006b\toolbox\distcomp\bin目录下,运行以下命令:复制内容到剪贴板代码:startworker -jobmanagerhost 192.168.1.101 -jobmanager frenseljobm -name worker1此命令指明在计算机192.168.1.101中,启动名为worker1的worker,而该worker受名为frenseljobm的jobmanager管理。就是说来自乡下101的可怜工人worker1,成为万恶的监工frenseljobm的“马仔”了。接着,监工frenseljobm要在不同村102和103中雇用更多的工人worker2、worker3。运行如下的命令:复制内容到剪贴板代码:startworker -jobmanagerhost 192.168.1.101 -jobmanager frenseljobm -name worker2 -remotehost 192.168.1.102即可在102计算机中启动一个新的,名为worker2的worker,如此类推启动103计算机的worker3。使用nodestatus命令可以查看节点的状态,加上-remotehost可以查看其他节点的状态。 5、如令计算机101为client,即我们的程序在这里编写的。设程序文件位于D:\Matlab_code\testDCT中。共享出文件夹Matlab_code,在文件夹中按工具-映射网络驱动器-令盘符为Z:-文件夹里填\\192.168.1.101\Matlab_code。于是Z:\testDCT便成为放置你程序的地方了。以同样的方法,让计算机102和103都建立映射网络驱动器,令盘符为Z:,文件夹里填\\192.168.1.101\Matlab_code。这时三台机都可以通过Z:\testDCT访问原程序文件。 6、现在便可以进行计算了。这里给出测试的代码。首先写一个函数,模拟我们实际的工作。复制内容到剪贴板代码:% hp.m function f = hp(m, n) H1 = zeros(n); H2 = zeros(n); for i = 1 : m H = H1 + H2; end f = H; end将此程序hp.m放在D:\Matlab_code\testDCT中。此函数计算n维随机矩阵的加法m次。接着建立另一个m文件,做具体的分布式计算。复制内容到剪贴板代码:% runDCT.m tic % 寻找资源,比如jobmanager在什么地方,叫什么名字。 jm = findResource('scheduler', 'type', 'jobmanager', 'name',... 'frenseljobm', 'LookupURL', '192.168.1.101'); % 使用刚才找到的资源建立一个工作 job = createJob(jm); % 设置该工作的文件关联,让所有workers都可以找到原程序文件。 set(job, 'PathDependencies', {'Z:\testDCT'}) % 另一种方法,把用到的原程序文件传给所有workers。 % set(job, 'FileDependencies', {'hp.m'}) N = 100; M = 1000000; % 建立三个任务,每任务都是算hp(M, N)。 createTask(job, @hp, 1, {M, N}); createTask(job, @hp, 1, {M, N}); createTask(job, @hp, 1, {M, N}); % 提交工作给jobmanager。 submit(job) % 等待所有workers都把任务做完。 waitForState(job, 'finished') % 取出计算结果。 results = getAllOutputArguments(job); toc同样地,该程序runDCT.m也是放在D:\Matlab_code\testDCT中。该程序计算了三次100维矩阵的加法1000000次,即算了100维矩阵的加法3000000次。如果在单机上运行:复制内容到剪贴板代码: tic, a = hp(3000000, 100); toc Elapsed time is 63.096369 seconds.而使用三台机作分布式计算时:复制内容到剪贴板代码: runDCT Elapsed time is 24.323556 seconds. 效率有明显的提升。但注意到,当第一次进行分布式计算时,其他几台机要从Z:\testDCT中读取原程序文件,会使得计算速度降低。 总结来说,Matlab的Distributed Computing Toolbox为我们提供了一种简便的分布式或并行式计算的实现方法。以上所写的是为了对DCT具体做法的整个过程做一次简单的介绍,我也是初学使用这个工具箱,文章可能很粗糙和存在许多谬误,敬请指正。 转自: http://www.baisi.net/viewthread.php?tid=756999
个人分类: matlab编程|4672 次阅读|0 个评论
[转载]国家电网允许分布式光伏发电上网富余电力全额收购
sincos 2012-10-28 12:04
国家电网允许分布式光伏发电上网富余电力全额收购   据中国之声《全国新闻联播》报道,国家电网今天正式发布《关于做好分布式光伏电网并网服务工作的意见》,承诺免费提供分布式光伏发电接入服务,允许富余电力上网,并且全额收购富余的电量。   分布式光伏发电是指安装在用户屋顶或附近的单个并网点总装机容量不超过6兆瓦的以自发自用为主的太阳能发电装置。   国家电网公司副总经理舒印彪宣布,从11月1日开始,电网企业为分布式光伏发电项目业主提供免费服务。   舒印彪:接入系统方案制订、电能计量装置的安装、并网验收和调试等全过程服务,不收取任何费用。   舒印彪表示,建于用户内部场所的分布式光伏项目,发电量可以全部上网、全部自用或自发自用余电上网,由用户自行选择,对于分布式光伏发电用户自己用不了的富余,电网企业按国家政策全额收购。   舒印彪:支持分布式光伏发电分散接入低压配电网,按照国家政策全额收购富余电量。对所有分布式光伏发电项目免收系统备用容量费。   在美国已对话光伏产品关闭大门,欧盟“双反”立案在即的困难时期,分布式光伏发电并网获准无疑为中国惨淡的光伏产业注入一针强心剂。   国家能源局新能源和可再生能源司副司长史立山:总的来看光伏发电的建设已经迈出了重要的步伐,企业投资和利用光伏的积极性已经调动起来。实现能源转型 建立清洁高效可持续的现代能源体系是我国能源发展的重要目标。分布式光伏发展带来的决不是电力系统接入了多少光伏发电容量,它带来的将是电力革命性地变 化。(费磊) Source: http://finance.people.com.cn/n/2012/1026/c1004-19404991.html
1526 次阅读|0 个评论
中国分布式科研总站2012年09月报
ylliu2008 2012-8-30 14:36
中国分布式科研总站2012年09月报
个人分类: 总站月报|2051 次阅读|0 个评论
中国分布式科研总站2012年08月报
ylliu2008 2012-7-6 16:16
中国分布式科研总站2012年08月报
个人分类: 总站月报|2151 次阅读|0 个评论
基金部红头文件〔2012〕2号
ylliu2008 2012-5-29 15:10
基金部红头文件〔2012〕2号
中国分布式科研总站开放基金管理办法(试行).pdf 附件1 中国分布式总站开放基金项目申请书.doc 附件2 中国分布式总站开放基金项目任务书.doc 附件3 中国分布式总站开放基金项目进展报告.doc 附件4 中国分布式总站开放基金项目结题报告.doc
2877 次阅读|0 个评论
中国分布式科研总站2012年07月报
ylliu2008 2012-5-29 15:09
中国分布式科研总站2012年07月报
2116 次阅读|0 个评论
中国分布式科研总站2012年06月报
ylliu2008 2012-5-29 15:09
中国分布式科研总站2012年06月报
2049 次阅读|0 个评论
中国分布式科研总站官方QQ群“177241247”,热情欢迎有志之士加
ylliu2008 2012-5-29 15:07
中国分布式科研总站官方QQ群“177241247”,热情欢迎有志之士加
2213 次阅读|0 个评论
中国分布式科研总站2012年05月报
ylliu2008 2012-5-29 15:07
中国分布式科研总站2012年05月报
1756 次阅读|0 个评论
中国分布式科研总站2012年04月报
ylliu2008 2012-5-29 15:06
中国分布式科研总站2012年04月报
1565 次阅读|0 个评论
中国分布式科研总站2012年03月报
ylliu2008 2012-5-29 15:06
中国分布式科研总站2012年03月报
1644 次阅读|0 个评论
中国分布式科研总站2012年01-02月报
ylliu2008 2012-5-29 15:05
中国分布式科研总站2012年01-02月报
1592 次阅读|0 个评论
中国分布式科研总站2011年11-12月报
ylliu2008 2012-5-29 15:05
中国分布式科研总站2011年11-12月报
1751 次阅读|0 个评论
中国分布式科研总站2011年10月报
ylliu2008 2012-5-29 15:04
中国分布式科研总站2011年10月报
1674 次阅读|0 个评论
中国分布式科研总站2011年09月报
ylliu2008 2012-5-29 15:03
中国分布式科研总站2011年09月报
1626 次阅读|0 个评论
中国分布式科研总站介绍
ylliu2008 2012-5-29 14:59
中国分布式科研总站介绍
完整版下载地址: http://downdao.com/ylliu2008/ 52402
1939 次阅读|0 个评论
中国分布式科研总站-论坛构架
ylliu2008 2012-5-29 14:58
中国分布式科研总站-论坛构架
1803 次阅读|0 个评论
中国分布式科研总站,欢迎大家访问!
ylliu2008 2012-5-29 14:49
中国分布式科研总站,欢迎大家访问!
http://dsrsc.5d6d.com/bbs. php
1685 次阅读|0 个评论
第三届网络与分布式计算国际会议 浙江省政府批件
huanglican 2012-3-29 10:41
第三届网络与分布式计算国际会议 浙江省政府批件 见附件
4044 次阅读|0 个评论
c++学习功略
热度 1 xiaoxinghe 2012-3-25 19:39
C++编程思想 C++primer C++程序设计语言C++之父Bjarne Stroustrup effective c++,c++对象模型 学C++还得往系统内核上看,或者网络,分布式上。 // *****仅供参考
个人分类: 程序语言|2096 次阅读|1 个评论
第三届网络与分布式计算国际会议(ICNDC2012)论文征集 EI
huanglican 2012-3-3 11:27
第三届网络与分布式计算国际会议( ICNDC2012 ) 2012.10.21—2012.10.24, 中国 , 杭州 论文征集 全文投稿截止日期: 2012 年 5 月 1 日 论文录用通知日期: 2012 年 6 月 1 日 交修订版截止日期: 2012 年 6 月 20 日 大会主席: 黄理灿 浙江理工大学 黎建辉 中国科学院 曹军威 清华大学 郭毅可 英国帝国理工大学 刘元安 北京邮电大学 David W. Walker 英国卡迪夫大学 【会务组联系方式】 联系人: 闫志文、刘振、李雪利、刘飘悦、李志龙 电话 / 传真: + 86 - 0571-86843267 E-mail: icndc2012@inetdc.org 通讯地址: 中国浙江理工大学 邮政编码: 310018 会议网 址 : http://www.inetdc.org/meeting/icndc2012/ 国际委员会: Mark Baker (University of Reading, UK) John Brooke (University of Manchester, UK) Rajkumar Buyya (University of Melbourne, Australia) Wentong Cai (Nanyang Technological University, Singapore) Jie Cao (Nanjing University of Information ScienceTechnology, China) Gang Chen (Chinese Academy of Science, China) Kang Chen(Tsinghua University, China) Giuseppe Ciaccio (Universita' diGenova, Italy) Philippe Cudre-Mauroux(Massachusetts Institute of Technology, USA) Jiazhu Dai (Shanghai University, China) Yong Fang (Chinese Academy of Sciences, China) Zaiwen Feng(Wuhan University, China) Haiwu He (INRIA, France) Shaoyi He(California State University at San Marcos, USA) Jinzhu Gao ( University of Pacific, USA) Weidong Geng ( Zhejiang University,China) Jinyuan Jia (TongjiUniversity, China) Keyuan Jiang (Purdue calmet University, USA) Gang Kou (University of Electronic Science and Technology of China, China ) Jianping Li (Chinese Academy of Sciences, China) Shijian Li (Zhejiang University, China) Wei Li( Chinese Academy of Sciences , China ) Xiaolin (Andy) Li (Oklahoma State University, USA) Liu Hong( Chinese Academy of Sciences , China ) Willie W. Lu ( Chairman, USCWC , USA ) Kai Nan (Chinese Academy of Sciences, China) Daowu Pei (ZhejiangSci-TechUniversity) P.I. Poromarenko (National Mining University of Ukraine, Ukraine) Omer F. Rana (Cardiff University, UK) Zhen Shen( Chinese Academy of Sciences , China ) Yingwen Song (National Institute of Advanced Industrial Science and Technology ,Japan) Wei Tan ( Staff Researcher, IBM T. J. Watson ) Cho-Li Wang (Univ. of Hong Kong, Hong Kong) Hecheng Wang(Hangzhou Diazhi University, China) Jue Wang (Chinese Academy of Sciences, China) Xiaodong Wang (STFC, DaresburyLaboratory, UK) Yaming Wang ( Zhejiang Sci-Tech University,China) Fenghua Wen (Changsha University of Science and Technology, China) Suhong Yang (Hangzhou Diazhi University, China) Zhiwen Yu( Northwestern Polytechnical University, China) Hehua Zhang(Tsinghua university, China) Yunhua Zhang ( Zhejiang Sci-Tech University, China) Zhiming Zhao (University of Amsterdam, Netherlands) Chengxiong Zhou (Chinese Academy of Sciences, China) Ligang Zhou (City University of Hong Kong, Hong Kong) Jinlou Zhao (Harbin Engineering University, China) 会议基本信息: 网络与分布式技术是当前乃至未来的 IT 技术的重要组成部分。当下一代网络成为现实,移动通信系统将来发展到 3G 甚至 4G 时代时,将会出现传统软件向网络应用转变的趋势。为了便于工业界和学术界共同研讨网络与分布式计算的热点话题和发展趋势,我们将于 2012 年 10 月 21 日至 24 日在中国杭州举办第三届网络与分布式计算国际会议。会议重点( 1 )分布式计算和分布式系统方面,包括集群和网格,服务组合和业务流程,点对点对等系统,云计算等( 2 )网络方面,包括 IP 网络,下一代互联网,无线网络, 4G 移动通信等( 3 )分布式应用系统方面,包括分布式电子商务应用,分布式 e-Science 应用,管理应用系统等。 征文范围及要求: 一征文范围 包括分布式计算和布式系统,网络和分布式应用三个分支。 1 . 分布式计算和分布式系统: 集群和网格运算,协同计算,分布式数据存储,服务组合,分布式多媒体系统,点对点对等系统,云计算,分布式资源管理,多代理系统,中间件技术,服务虚拟化,并行与分布式处理,面向服务的构架,面向服务的计算,复杂的分布式系统,面向服务的软件和系统工程,语义网络,社会网络,传感器网。 2 . 网络:主动 / 可编程网络,移动 / 无线网络仿真,自适应网络 , Ad hoc 无线网络,分布式网络管理,无线局域网,城域网,广域网 , 3G 和智能网络,互联网络架构,多媒体网络,无线多播,传感器网络,网络隐私和安全,无线网络管理,网络服务质量和性能评价,无线协议和架构,下一代网络,新型网络架构和协议,按需网络。 3 . 分布式应用程序:业务流程整合,业务流程管理,企业资源规划,企业流程管理,协同电子商务,企业联合会,企业集成,全球企业,虚拟 / 网络企业,供应链合作,电子物流,电子商务 , B2B, B2C, C2C 模式,电子银行,电子商务,移动商务,商务数据挖掘,自适应业务,按需电子商务。 二征文要求 1. 论文须未在国内外公开发行的刊物发表。 2. 所有论文必须是英文文稿,全文不能超过五页,投稿稿件请用 Word 或 Pdf 格式排版。论文递交的文本格式:请参照 http://www.inetdc.org/meeting/icndc2012/ ( page submission )。 3. 如果论文一经录用,所录用的论文将会被 CPS 出版,将送 EI 和 ISTP 收录引用。 最好的 50 篇论文将修改后推荐到 EI 期刊发表。 4. 所有论文文稿应提交以下电子提交系统: http://www.easychair.org/conferences/?conf=icndc2012 5. 如有任何疑问请联系 icndc2012@inetdc.org 大会主席简介: Prof. Lican Huang was graduated from Nanchang University in 1982 for B.Sc, from Hangzhou University in 1984 for M.Sc, and from Zhejiang University in 2003 for Ph.D. He has developed many large software systems in several companies, as technical leader or department manager. From 2004, he was a Senior Research Associate in Cardiff University researching at the project Workflow Optimisation for e-Science Applications(WOSE). Since 2006, he is a Director of Network Distributed Computing at Zhejiang Sci-Tech University , and guest professor at CAS and Beijing University of Posts and telecommunications. He was collected in Marquis Who’sWho in the World 2006, Marquis Who’sWho in the Science and Enginnering 2006-2007, and Marquis Who’sWho in Asia 2006-2007 due to his achievement of proposing Virtual and Dynamic Hierarchical Architecture for e-Science and Grid and VIRGO protocols. 黄理灿,男,汉族, 1962 年 1 月出生,江西乐平人,博士,教授,浙江理工大学网络与分布式计算研究所所长, International Conference on Networking and Distributed Computing(ICNDC) 网络与分布式计算国际会议主席。一直从事网络与分布式计算研究。自 2000 年开始,一直涉及 e-Science 和网格计算的研究。 发表论文 100 余篇, Sci/Ei 检索 70 余篇。担任多个项目的主持人。为多个会议主席以及多个程序委员会成员;为多个国际杂志编委。在国际上首次提出了一种新型的 P2P 网络 —— 语义 P2P 网络 --VIRGO 。 因提出 e-Science 虚拟动态分层体系结构和语义 P2P 网络协议,而被 Marquis 世界名人录( 2006 )、 Marquis 科学与工程名人录( 2006-2007 )以及 Marquis 亚洲名人录( 2006-2007 )收录。   曾经为多家计算机公司的技术负责人或技术经理。 2004-2006 期间在英国 Cardiff 大学担任副高级研究员( Senior Research Associate )。 1982 年本科毕业于江西大学(现南昌大学); 1984 年研究生毕业于杭州大学。 2003 年于浙江大学获得博士学位。 黎建辉 ,男,博士,现为中国科学院计算机网络信息中心科学数据中心主任, 研究员,博士生导师, CODATA 中国委员会秘书长。 2007 年获得中国科学院计算技术研究所博士学位,主要从事大规模数据存储和管理和基于语义的海量数据集成等方向的研究工作,主持或者作为主要骨干中国科学院 “ 十五 ” “ 十一五 ” 信息化专项、科技部国家科技基础条件平台、科技部 863 项目、中国科学院创新方向性项目、中国科学院国际合作项目等多项。在大规模数据存储与管理、海量数据处理、数据语义集成等方面取得了一系列成果。发表论文 50 余篇,其中 SCI 收录 2 篇, EI 收录 20 多篇,在 Future Generation Computer Systems 、 Knowledge Information System 等国际期刊 3 篇, 主持完成了一项国家标准的研制,参与了 2 项国际标准的研制,申请国家专利 8 项,其中获得国家专利一项(排名第二),获得软件著作权 10 余项。 Dr. Jianhui Li,researcher,PhD supervisor,is theincumbentdirectorofScience Data Centerof Computer Network Information Center, Chinese Academy of Sciences(CAS) .He is also theSecretary-GeneralofChinaCommittee of CODATA. Dr.Jianhui Liobtained his Ph.D. degree from Institute of Computing Technology, CAS in 2007. He mainly engaged intheresearchoflarge-scaledata storage andmanagement, semantic based huge dataintegration.As a major technician,hepresided over theinformationspecial projects ofCAS during "10th Five-Year " and “11th Five-Year” plan period,the platform of thenationalscience and technology infrastructure,863projects,directivity innovation projectofCAS, internationalcooperation projects of CASand many other projects. Dr. Jianhui Li has made a series of achievements inthelarge-scaledata storage and management,huge data processing and data semantics integration and publishedmore than 50 papers,of which 2 SCI articles, more than 20 EI papers, 3international journalsinthe FutureGenerationComputer Systems, Knowledge Information System and other international journals. He also presided over the completion ofthedevelopmentofanational standardand participated inthe development of twointernational standards.He has applied 8 state patents, of which 1 has achieved national patent, and he won more than 10 software copyrights. Dr. Junwei Cao is currently a Professor and Assistant Dean of Research Institute of Information Technology, Tsinghua University, China. Before joining Tsinghua in 2006, he was a Research Scientist of Massachusetts Institute of Technology, USA. Before that he worked as a research staff member of NEC Laboratories Europe, Germany. Junwei Cao got his PhD in Computer Science from University of Warwick, UK, in 2001, where his PhD thesis was focused on Agent-based Resource Management for Grid Computing. He got his master and bachelor degrees from Tsinghua University in 1998 and 1996, respectively. Junwei Cao’s research is focused on advanced computing technology and applications. He recently participated in research projects on Cloud Computing and Internet of Things under the National 973 Basic Research Program, Ministry of Science and Technology of China. Junwei Cao has published over 100 academic papers, cited by international researchers for over 2000 times. Junwei Cao is a Senior Member of the IEEE Computer Society and a Member of the ACM and CCF. 曹军威,博士,清华大学信息技术研究院院务会副主任、研究员。美国 MIT 访问科学家( Visiting Scientist )。 1991-1998 ,清华大学自动化系本科、硕士毕业; 1999-2006 ,分别在英国华威( Warwick )大学计算机博士毕业、在位于德国波恩的 NEC 欧洲实验室任 Research Scientist 、美国 MIT 任 Research Scientist ; 2006 年回清华工作至今。 研究方向:先进计算技术及其应用:赛百平台( Cyberinfrastructure )、网格计算( Grid Computing )、分布式计算( Distributed Computing )、高性能计算( High Performance Computing )、数据管理( Data Management )、虚拟组织( Virtual Organization )管理和流程管理( Process Management )。 Dr. Yike Guo is a professor in computing science in the Department of Computing, Imperial College London. His research is in the areas of large scale scientific data analysis , data mining algorithms and applications, parallel algorithms and cloud computing. He graduated in Computer Science from Tsinghua University of China and has a PhD in Computational Logic and Declarative Programming at Imperial College London. During his PhD study, he was one of the founding members of the field studying uniform declarative programming by integrating functional and logic programming languages. Later, his work on functional coordination forms established a foundation for structured parallel programming. Dr. Yike Guo has been working in the area of data intensive analytical computing since 1995 when he was the Technical Director of Imperial College Parallel Computing Centre. During last 10 years, he has been leading the data mining group of the department to carry out many research projects, including some major UK e-science projects such as: Discovery Net on Grid based data analysis for scientific discovery; MESSAGE on Wireless mobile sensor network for environment monitoring; BAIR on System biology for diabetes study. He has been focusing on applying data mining technology to scientific data analysis in the fields of life science and healthcare, environment science and security. He is the Principal Investigator of the Discovery Science Platform grant from UK EPSRC and he is also the Founder and Chief Technical Officer of InforSense Limited , an Imperial College spin-out company on enterprise platform for business and scientific intelligence. 郭毅可, 1985 年本科毕业于清华大学计算机系, 1986 年硕士毕业于清华大学计算机系, 1993 年博士毕业于伦敦大学帝国理工学院计算机系。伦敦大学帝国理工学院计算机系计算机科学正教授。 刘元安 ,教授,博士生导师 , 国家 “863 计划 ” 专家、现任 北京邮电大学 电子工程学院执行院长。长期致力于下一代移动通信系统及关键技术、天线技术、异构网络接入与融合技术、电磁兼容与测量技术等领域的关键技术研究和新产品的开发工作。刘教授所领导的无线电技术与电磁兼容实验室,有高水平的科研项目,包括国家 “863 计划 ” 、国家自然科学基金、部委计划、国际合作等。主持完成各类研究课题 20 余项,在国内外学术刊物发表研究论文 100 余篇,包括 IEEE Transactions on XXXs 、科学通报、电子学报、通信学报和微波学报等,出版《宽带无线接入》等专著五本。是教育部科技委信息学部学部委员 , 中国通信标准化协会 TC-9 组副主席 , 中国电子学会和中国通信学会高级会员,电子学会电磁兼容分会委员, IEEE 会员。 Professor David W. Walker received a B.A. degree in Mathematics from Jesus College, University of Cambridge, in 1976. His M.Sc. degree in Astrophysics was obtained from Queen Mary College, University of London, in 1979, and his Ph.D. from the same institution in 1983. Professor Walker subsequently held postdoctoral appointments at the University of London and the Jet Propulsion Laboratory. In 1986 Prof. Walker became a staff scientist in the Concurrent Computation Project at the California Institute of Technology, and in August 1988 was appointed to the University of South Carolina mathematics faculty as an associate professor. In September 1990 Prof. Walker joined the Mathematical Sciences Section of Oak Ridge National Laboratory, where he headed the mathematics group, and became a senior research staff member in 1995. Since December 1995, he has been Professor of High Performance Computing in the Department of Computer Science at the University of Wales Cardiffi where he also serves as Director of the Welsh e-Science Centre. Professor Walker's research interests focus on software, algorithms, and environments for computational science on high performance computers. He has been closely involved in the development of the ScaLAPACK parallel software library, and the MPI message passing standard. He has also contributed to the design of a parallel version of the Community Climate Model, and has published a number of papers on the parallel implementation of particle-in-cell algorithms for plasma simulations. He has also been involved in the benchmarking of science and engineering applications codes on parallel computers. Professor Walker has published over 70 papers in the area of parallel computing and has co-authored three books on the subject. In 1992 he founded a series of conferences on high performance computing under the auspices of the Gordon Research Conference organization. He has organized a number of other conferences and workshops in the same area
6780 次阅读|0 个评论
review: 有效延长无线传感器网络寿命的分布式广播算法
jiangdm 2012-2-29 21:18
有效延长无线传感器网络寿命的分布式广播算法① 赵瑞琴 刘增基 文爱军 高技术通讯 2008年5月 第18卷第5期 摘要 为了延长无线传感器网络的寿命,解决无线传感器网络中泛洪可能带来的大量资源浪费问题,提出了一种新的广播机制——最大寿命分布式广播(MLDB)策略。该策略基于延时转播机制,选取尽可能少的邻节点为转播节点来减小广播分组在网络中的重复。为了做出更好的选择,在确定转播时延的数值时,综合考虑节点转播带来的新增覆盖面积、未收到广播分组的邻节点数以及节点剩余电量3个因素。这种综合设计使得该策略能够在减小转播冗余提高广播效率的同时延长网络寿命。MLDB是分布式执行的,所有节点仅需维持本地一跳邻节点信息,开销较小。仿真结果表明,MLDB能够在维持像泛洪一样高的广播覆盖率的同时大大减少冗余转播,具有较小的端到端时延,并能够有效延长网络寿命。 关键词: 无线传感器网络,分布式广播,网络寿命 0 引言 泛洪 最小能耗广播树 分布式广播算法 1 网络模型与若干定义 2 转播时延计算 3 MLDB算法 4 性能评估 4.1 仿真模型 NS-2 5 结论 有效延长无线传感器网络寿命的分布式广播算法.pdf
个人分类: Network|3168 次阅读|0 个评论
概率论的"分布函数"实为"整布函数"——兼论分布式水文模型
热度 2 hillside 2012-2-12 20:56
今天阅读丁裕国老师的《极端气候研究方法导论》。书中的基础部分介绍了分布函数的定义:我们考虑随机变量X的取值小于某一数值x的概率P(Xx),显然这个概率就是点x的函数。于是,可记为 F(x)=P(Xx)。这个函数F(x)就称为随机变量X的分布函数。当然,如果我们用 F(x)=P(X=x)来定义分布函数, 是否可行? 实践表明,后者对于描述随机变量的完整概率特征具有一定的局限性。 我对于“当然”很感兴趣。想必丁老师认为“分布函数”有些做作或别扭,并非天经地义。我也一直觉得“分布函数”有些勉强。我觉得与其称“分布”,不如说是“整布”。分布,隐含零碎布头等分割之意。实际定义的概率分布函数却更像一匹整布。我愿意将“分布函数”称为“整布函数”或“包裹函数”,可谓:拆零的不要,打包的带走。 水文学中近年分布式模型非常流行,其实分布式概念在计算机、气象等领域也非常风行。相对于水文分布式模型,是传统的集总式水文模型。如此一来,概率“分布函数”也可以称作“集总函数”。 此处再来看同书中对于概率密度函数的定义:设有连续型随机变量X的分布函数F(x),对其微商,可得 f(x)=dF(X)/dx。此式中的 f(x)通常称为分布函数的密度函数,又称为概率密度函数。由此,可用密度函数的积分表示分布函数F(x)。 如果将有些勉强的“分布函数”视作“整布函数”,那么所谓的密度函数其实更加接近真正意义上的分布函数。退一步说,将“分布函数”理解为“整布”后,它沿某个方向的分布称作密度就更容易理解了。 附: http://blog.sciencenet.cn/blog-40247-894989.html 函数与分布函数 曹广福 过去一直没有仔细推敲分布函数这个数学术语,从集合之间对应法则的角度看,称分布为分布函数似乎没什么错,但这与函数的本质属性真的一样吗? 函数概念的发展经过了很长的历史,最早给出较严格定义的是欧拉,他指出:“如果某些变量以某一种方式依赖于另一些变量,即当后面这些变量变化时,前面这些变量也随着变化,我们把前面的变量称为后面变量的函数。”这个定义清楚阐明了两个量之间存在着因果关系。后来,柯西给出了迄今为止仍在沿用的定义:“在某些变数间存在着一定的关系,当一经给定其中某一变数的值,其他变数的可随着而确定时,则将最初的变数叫自变量,其他各变数叫做函数。” 罗巴契夫斯基进一步提出函数的定义:“x的函数是这样的一个数,它对于每一个x都有确定的值并且随着x一起变化.函数值可以由解析式给出,也可以由一个条件给出,这个条件提供了一种寻求全部对应值的方法。函数的这种依赖关系可以存在,但仍然是未知的。” 狄里克雷认为怎样去建立x与y之间的对应关系是无关紧要的,所以他的定义是:“如果对于x的每一个值,y总有一个完全确定的值与之对应,则y是x的函数。”从欧拉的定义到狄利克雷的定义经过了八十多年的时间。 似乎有一种普遍认识:“两个量之间的对应法则是函数的本质属性。”集合论产生之后,函数更是看成了两个特殊集合之间的对应关系。随着现代数学的发展,函数的概念固然不仅仅限于数集与数集之间的对应关系,了解一点泛函分析的人不难清楚这一点。但有一点应该是显而易见的,函数真正的科学意义在于探索两个不同量之间存在的因果关系,这才是函数的本质属性。那么,集合与数集之间的对应关系是不是都可以看成函数呢?这涉及是否承认函数是因果关系的问题。经典函数的价值体现在哪里?它首先将两个变化着的量(未必是数量)数量化,即实际问题数学化,然后寻找这两个数量之间的内在关系或者叫因果关系,所以说因果关系是函数的本质属性。对应关系一定是因果关系吗?假如是,那么实际问题的量化过程算不算因果关系?我认为不是,实际问题的量化过程仅仅是同一问题的不同表述方式而非真正意义上的因果关系。当然,也许有人认为实际问题的量化本身就与该问题的状态有关,不同的状态对应不同的数量,从这个意义上说,他们之间自然有因果关系。但是这已经超越了函数本身的意义。例如,笛卡尔坐标的意义在于将空间内的点与数组相对应,直线上的点对应到实数,平面内的点对应到二元数组,三维空间内的点对应到三元数组,这样可以使得几何代数化,从而产生了解析几何。那么直线上的点与数之间的对应可以与函数类比吗?如果从集合之间对应法则的角度看,自然可以做类比,但如果从函数的内涵看,它与函数说的不是一回事。经典的函数是指将几何代数化之后空间内图形所对应坐标之间的依赖关系,即将图形的内在属性通过函数关系表示出来。换句话说,点对应到数或数组是从几何到代数化的过程,函数则是反应了不同量之间代数化后的因果关系,从这个意义上说,前者是架设几何与代数之间的桥梁,后者则是以代数方法寻找规律,两者完全不是一回事。 再来看概率,大家普遍将概率分布称为分布函数,之所以称它为分布函数正是基于集合之间映射的角度,分布正是随机变量到区间 之间的映射。在我看来,概率分布仅仅是将随机事件发生的可能性数量化,正如坐标系将几何代数化,这只是个量化过程,而非真正意义上的因果关系。不同随机变量之间的内在关系才是真正的因果关系,例如,儿子是否生病是个随机事件,母亲是否伤心也是个随机事件,这两个随机事件之间存在一定的因果关系,这种关系类似函数关系,可以与函数类比。把概率分布称之为分布函数没什么不可以,正如泛函分析中将空间到数域的映射称为泛函一样(它本来就相当于有限维空间内的坐标),但与经典的函数做类比似乎值得商榷,特别是对函数与概率都不那么熟悉的中学生而言很容易产生误导。
个人分类: 水文科学|4391 次阅读|4 个评论
第三届网络与分布式计算国际会议(ICNDC2012)征文
huanglican 2012-1-21 08:37
http://www.inetdc.org/meeting/icndc2012/ 杭州 10。 21-24, 2012
3732 次阅读|0 个评论
逆流而上的水文学取向与趋向
hillside 2011-9-2 21:13
  水文学中的两大核心组块是产流与汇流。   多年来的传统是,产流粗而汇流细。集总式模型对于产流往往概而化之。分布式模型正是因为意识到产流精度的缺失而作的纠偏。   从理论的成熟度看,汇流已经拥有比较成熟的方法或模型,产流则呈现出战国特征,涉及到降水、土壤下渗、植物截留、蒸发腾发、地下水势分布等诸多时空层面上的定量、定位瓶颈。气象水文学(或水文气象学)、气候水文学、生态水文学、土壤水文学、实验水文学等的综合与系统集成有助于提升产流精度。 “水性就下”原理是水文学的重要基础。从时间次序、逻辑次序看,产流类似于上游,汇流类似于下游。水文科学界或泛水文科学界目前正将眼光逐步移向产流的精细化。所以我将之称为“逆流而上”。逆流而上的过程其实也是追溯源头的过程。
个人分类: 水文科学|3353 次阅读|0 个评论
单句博文
metanb 2010-10-11 13:08
头脑中捕捉到的、貌似有意思的一句话。
个人分类: 魔鬼辞典|1931 次阅读|0 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-21 12:37

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部