科学网

 找回密码
  注册
科学网 标签 Big

tag 标签: Big

相关帖子

版块 作者 回复/查看 最后发表

没有相关内容

相关日志

亥姆霍兹MDC分子医学中心与夏里特医院合并为柏林健康研究院BIG
热度 2 Helmholtz 2013-6-21 12:59
德国柏林健康研究院BIG正式启动 德国科教部长Wanka出席了健康研究中心的成立仪式,并称这是德国健康科研领域迈出的重要一步。 柏林6月18号消息:在联邦教育与科技部长Wanka以及众多政界和科技界贵宾的见证下,柏林健康研究院BIG ( Berliner Institut fürGesundheitsforschung )正式成立。这个新的科研机构是由马克斯-德尔布吕克分子医学中心与夏里特临床医学院合并而来。Wanka部长说:“BIG的成立是德国医学健康领域的一件大事,是德国医学健康体系的可持续发展的重要基石。我希望这个新机构的成立将为我们国家公民的健康做出重要贡献。” MDC所隶属的亥姆霍兹联合会主席Mlynek说:“我们非常高兴,BIG的成立是对德国科研体制改革的再一个推动。加强基础研究与临床研究之间的合作是亥姆霍兹联合会的一贯战略,这可以加速研究成果向临床应用的转换。” 亥姆霍兹联合会将向BIG在2013和2014年提供4500万欧元的资助。BIG的成立也是德国联邦政府支持创新课题、创新体制的计划组成部分。这也是德国在提供转换医学领域迈出的一大步,以期尽快把科学成果应用到医学实践和病人的治疗上来。重点是系统医学。通过这次的合并,希望不再只是从孤立的角度看待疾病,而是融合遗传学、组织生物学、生物理以及视觉信息系统从整体观进行研究和对治,从而尽可能全面地解决医学问题。 . Diebisher schon enge Kooperation zwischen der außeruniversitären Forschung am MDCund der Charité hebt das BIG auf eine neue Stufe. Kernstück des BIG ist eingemeinsamer Forschungsraum, in dem fächerübergreifend Wissenschaftlerinnen undWissenschaftler beider Einrichtungen grundlegende krankheitsrelevante Prozesseunter Nutzung modernster Methoden und Infrastrukturen erforschen. Das BIG wirddarüber hinaus Nachwuchstalenten und Spitzenwissenschaftlern aus aller Weltexzellente Perspektiven bieten. Fürdas BIG ist - bei einer 90 % (Bund) zu 10 % (Land) Finanzierung - geplant, inden Jahren 2013 bis 2018 insgesamt mehr als 300 Millionen Euro zur Verfügung zustellen. Die Stifterin der Charité-Stiftung, Frau Johanna Quandt, wird das BIGin den nächsten zehn Jahren mit bis zu 40 Millionen Euro unterstützen. AlsVorstandsvorsitzender des BIG wurde Ernst Theodor Rietschel gewonnen. Alsehemaliger Präsident der Leibniz-Gemeinschaft und ausgewiesener Wissenschaftlerim Bereich der medizinischen Forschung bringt Rietschel die erforderlicheExpertise mit, um das Institut gemeinsam mit dem Vorstand des BIG erfolgreichzu starten. Das Forschungskonzept des BIG ist Anfang Mai 2013 von eineminternational besetzten Gutachterausschuss unter Vorsitz von Peter M. Suter mitsehr positivem Ergebnis begutachtet worden. Damit sind nunmehr alleVoraussetzungen für eine rasche Förderung der ersten Forschungsprojekte im BIGgegeben. FürRückfragen der Medien: Pressestelle des Bundesministeriumsfür Bildung und Forschung Tel.:+49 (0) 30 - 18 57 - 5050 oder -5057 Fax:+49 (0) 30 – 1857 - 5551 E-Mail: presse@bmbf.bund.de Pressestelleder Senatsverwaltung für Bildung, Jugend und Wissenschaft Tel.:+ 49 (0) 30 - 90227 - 5846 Fax:+ 49 (0) 30 - 90227 - 5020 E-Mail: pressestelle@senbwf.berlin.de
个人分类: 2013亥姆霍兹科技新闻|6040 次阅读|5 个评论
[转载]How hard is it to 'de-anonymize' cellphone data?(MITnews)
huangfuqiang 2013-3-29 12:31
http://web.mit.edu/newsoffice/2013/de-anonymize-cellphone-data-0327.html
个人分类: 复杂网络与复杂系统|2445 次阅读|0 个评论
【立委科普:所谓大数据(BIG DATA)】
热度 3 liwei999 2013-3-21 04:58
Big data is not just data that are big. In the sense of data load, big data has been there for quite a while in Internet, on which the entire search industry was based and developed. The current buzz word big data is different, it is innately associated with posters' background and social network, it represents data from social media perspective. That makes the big data a gold mine, waiting to be mined for intelligence as well as opportunities. The area of data mining is fairly mature. Data mining from structured data of consumers' behaviour, combined with their background and demographic information, has been put to practical use for some time now and is proven to be very powerful for target ads and marketing. Sentiment mining on natural language text from social media big data can be regarded as a natural extension of data mining. Due to its open-endedness, the potential is even greater. When used properly, the sentiment intelligence mined from big data is beneficial to both businesses and consumers. The related innovation can be revolutionary in changing the ways businesses interact with consumers and make better products and services to satisfy the consumers. 所谓大数据,实际上是社会媒体火热以后的专指,所以已经与用户背景相关联,而不是搜索引擎从开放互联网搜罗来的混杂集合。没有社会媒体及其用户社会网络作为背景,纯粹从量上看,“大数据”早就存在了,它催生了搜索产业。但那不是如今的 buzz word,如今的大数据与社会媒体密不可分。当然,数据挖掘领域把用户信息和消费习惯的数据结合起来,已经有很多成果和应用。自然语言的大数据可以看作是那个应用的继续,从术语上说就是,text mining (from social media big data)是 data mining 的自然延伸。 【置顶:立委科学网博客NLP博文一览(定期更新版)】
个人分类: 立委科普|6081 次阅读|3 个评论
[转载]涂子沛:中国如何应对大数据时代的挑战
热度 2 王飞跃 2013-1-27 09:26
来源:南方都市报 最近,我回国参加了一些大学的研讨会、政府部门的座谈会以及企业的培训活动,主题都是大数据,时下,国内各大报刊杂志也都在探讨这个热门话题,但我发现,中国社会对“大数据”的概念还存在一些不准确的认识甚至观念上的误区,特别是对大数据在国家层面上的战略意义估计不足,亟须深化。 从小数据到大数据 “大数据”是一股新的技术浪潮,也是逐步形成的历史现象,其具体是指随着信息存贮量的增多,人类在实践中逐渐认识到,通过数据的开放、整合和分析,能发现新的知识、创造新的价值,从而为社会带来“大科技”、“大利润”、“大智能”和“大发展”等新的机遇。大数据概念的提出,可以追溯到1980年代,但其“数据”二字却和我们传统的理解有所不同。 传统意义上的“数据”,是指“有根据的数字”,但在进入信息时代之后,“数据”二字的内涵在扩大,它不仅指代“数字”,还统称一切保存在电脑中的信息,包括文本、声音、视频等。更重要的是,随着信息技术的进步,其数量在爆炸,特别是新媒体出现之后,数据的收集、保存、维护、使用等任务,成为横跨各个领域的现象和挑战。 大数据之“大”,并不在于其表面的“大容量”,而在于其潜在的“大价值”。有很多例子可以证明,由于新工具的出现,我们从以前的小数据当中也能发现大的价值。例如,美国把二十多年的犯罪数据和交通事故数据映射到同一张地图上后惊奇地发现,无论是交通事故和犯罪活动的高发地带,还是两者的频发时段,都有高度的重合性。这引发了美国公路安全部门与司法部门的联合执勤,通过共治数据“黑点”,交通事故率和犯罪率双双降了下来。再例如,最近有学者将白宫200多年总统洗衣服的记录电子化,然后进行分析,也得出了一些新的结论。这些数据,都是地道的小数据。这说明,小数据只要在纵向上有一定的时间积累,在横向上有细致的记录粒度,再和其他数据整合,就能产生大的价值。从这个角度来看,大数据也可以理解为针对某个对象在时空两个维度上的“全息”数据。这种“全息”,在大数据的时代还表现为“多源”,即有多个源头在从不同方向对同一个对象进行数据记录,数据之间互相印证。 另外,从全球数据技术投入的资金分布来看,传统的小数据仍然占据绝对的重头。据国际数据集团(IDG)统计,2012年,全球对小数据分析工具的投资为349亿美元,而对大数据分析工具Hadoop的投资仅为1.3亿美元,不及前者的1%。IDG的结论是,传统的小数据软件满足了企业和组织95%的需求。目前行业发展的最新态势,是“大”、“小”数据分析工具趋于一体化并在向“云”迁徙。 大数据的战略意义 大数据的意义,也远远不局限于我们当前众多新闻报道中所津津乐道的“啤酒和尿布”等通过数据挖掘、实现精准营销的故事。事实上,数据挖掘已经不是大数据领域的前沿,取而代之的是机器学习。数据挖掘是指通过特定的算法对大量的数据进行自动分析,从而揭示数据当中隐藏的历史规律和未来的发展趋势,为决策者提供参考。时下兴起的机器学习,凭借的也是计算机算法,但和数据挖掘相比,其算法不是固定的,而是带有自调适参数的,也就是说,它能够随着计算、运行次数的增多,即通过给机器“喂取”数据,让机器像人一样通过学习逐步自我提高改善,使挖掘和预测的功能更为准确。这也是该技术被命名为“机器学习”的原因。这也是大数据之所以被称为革命性现象的根本原因,因为从本质上来说,它标志着我们人类社会在从信息时代经由知识时代快速向智能时代迈进。 不妨举一两个例子,来说明大数据对社会形态的影响以及对国家战略的重要性。 今年以来,一股在线教育的浪潮正在席卷美国的教育领域,一种新型的智能学习平台正在成为高科技领域创新和投资的重点,其中不少公司已经获得了初步成功。如著名的在线教育公司Coursera,已经和普林斯顿、伯克利、杜克、香港理工等全世界30多所大学达成协议,通过其平台免费开放课程。如今这些学校的课程可以实现全球几十万人同步学习。分布在世界各地的学习者不仅可以在同一时间听取同一位老师的授课,还和在校生一样,做同样的作业、接受同样的评分和考试。一些学校看到了这种智能学习平台的价值和潜力,甚至开始投资兴建自己的独立平台,2012年5月,哈佛大学与麻省理工学院就宣布,将投入6000万美元开发一个类似平台,并向全世界免费开放。 这种学习平台的崛起,在美国引起了广泛的关注和激烈的讨论。其中的原因,是因为该平台已经不是一个镜头、一段视频那么简单,而能对学习者的学习行为自动进行提示、诱导和评价,从而弥补没有老师面对面交流指导的不足。例如,通过记录鼠标的点击,计算机能够记录你在一张幻灯片上停留的时间,判别你在答错一道题之后有没有回头复习,发现不同的人对不同知识点的不同反应,从而总结出哪些知识点需要重复或强调,哪种陈述方式或学习工具在哪种情况下最有效等规律。 不难发现,该平台之所以强大,正是因为大数据。单个个体学习行为的数据似乎是杂乱无章的,但当数据累积到一定程度时,群体的行为就会在数据上呈现一种秩序和规律。通过收集、分析大量的数据,就能总结出这种秩序和规律,然后有的放矢,对不同的学习者提供有针对性的帮助。哈佛大学和麻省理工学院之所以向全世界免费开放其学习平台,目的也是想让更多的学习者在上面学习,以收集更多的数据,有了数据,它们才能研究世界各国学习者的行为模式,进而打造更好的智能学习平台。 数据驱动的智能时代 前面的例子说明数据正在成为组织的财富和创新的基础,也证明大数据确实在催生一个更加智能的社会。那么,又该如何理解我们正在迈进的这个智能型社会呢? 理解这个问题的关键在于,无论是信息、知识还是智能,在我们这个时代,都是以数据为载体存在的。数据是对客观世界的记录,当我们对数据赋予背景时,它就成为信息;信息是知识的来源,当把信息提炼出规律的时候,它就上升为知识;知识是智能的基础,当电脑、网络能够利用某种知识作出自动判别,采取行动为人类服务的时候,机器智能就产生了。目前,人类记录周围世界的范围正在不断扩大,过去,我们是决定记录什么,现在及将来,我们要进入一个决定不记录什么的时代,同时数据分析的能力不断增强,这都将加速我们迈向智能时代的步伐。智能时代的特点,是无处不在的计算机和网络将像有智商的人一样为人类工作和服务。换句话说,越来越多的工作将被计算机或者机器人所代替。此外,由于精准的计算和预测,整个社会可以像无数个大大小小的齿轮轴承一样,环环相扣,齿齿吻合,日常管理通过数据更加优化,各种任务、合作可以无缝对接,社会运行的成本可大幅降低。 回到上面的例子,不难想象,这种智能学习平台将会给教育行业带来怎样的影响。学校曾经是最重要的教育资源,好的学校更是异常稀缺,由于这种智能平台的普及,在不远的将来,名校将人人可上,也就是说,如果应对得当,中国教育资源匮乏的问题将很快得到有效缓解。对个人来说,随时随地地学习、终身学习都将成为可能,例如,高中生可以尝试大学的课程,离开了校园的人,也可以登录在线平台再和在校生一起听课。这些都是教育工作者探讨多年、孜孜以求的梦想。但硬币的另一面,是中国的教育行业要面对更加激烈的全球化竞争和挑战。过去,是学生争学校;将来,可能是学校在全球范围中争夺学生。发达国家的一流大学会挤压发展中国家普通大学的生存和发展空间,普通大学该如何来吸引生源?它们会不会因此衰落?既然最好的教学视频等学习资源都可以免费获得,教师的角色又需不需要调整?又该如何调整?这些问题,都是大数据时代催生的重大挑战。 智能学习平台只是大数据大潮在教育领域掀起的一朵浪花。毫不夸张地说,大数据将影响人类社会发展的方方面面、优化改造每一个行业,其作用难以限量。我们再以时下另外一个热门名词“智慧城市”为例。近几年来,国内外都兴起了建设智慧城市的浪潮。据国内智慧城市的领军公司神州数码董事局主席郭为介绍:目前,国内已经有60多个城市把建设智慧城市纳入了“十二五”规划,他相信,智慧城市将成为推动中国经济可持续发展的主动力。但从一个更高的角度来看,智慧城市的建设问题,其实是一个城市的大数据综合治理问题:一是要在以前没有收集数据的地方收集数据,这主要是利用物联网的技术;二是要让不同系统的数据有效对接起来,这是系统整合的任务;最后,还要利用数据可视化的技术把海量数据中隐藏的知识揭示、展现出来,让数据中的智慧能够以一种直观的形式流向城市的管理者、决策者和市民大众。也就是说,数据的收集、整合、分析、展现才是智慧城市的核心,未来的智能型城市,必将是数据驱动的城市,而大数据则相当于智慧城市的大脑。郭为还指出,智慧城市的建设,是在用信息技术解决社会治理中的难题,提高人民的幸福指数,这又证明,大数据的应用和价值,绝对不仅仅是在商业领域这么简单。 除了推进社会形态的跃进、加速企业创新,引领新的经济繁荣,我在《大数据:正在到来的数据革命》一书中还指出,通过开放数据,大数据还可以成为启动透明政府的利器。这对当下的中国,现实意义毋庸讳言。也正是因为以上种种战略考量,2012年3月,美国联邦政府宣布投入巨资启动大数据的研发任务,并把大数据提到了和历史上的互联网、超级计算机一样的高度,成为国家战略。 政府需要做什么 一是政府机构、行业组织和大型企业要建立专门的数据治理机构来统筹数据治理的工作,例如数据治理委员会、大数据管理局等,数据治理的重点在于数据定义的一致性和数据的质量。在大数据时代,不同系统之间的数据要进行整合,因此要有统一的元数据定义,这不仅是中国而且是全世界当下都在面临的挑战。各个领域和行业的数据标准制定得好,将会起到事半功倍的效果。就单个企业而言,要认识到,未来的竞争是知识生产率而不是劳动生产率的竞争,数据分析产生的价值可能比较碎片化,分布在商业流程的各个环节,数据挖掘的投资回报也有不确定性,但企业领导必须有眼光,把数据治理的工作尽快统筹起来,为增强企业在大数据时代的竞争力做好准备。此外,数据治理机构的首长应该由组织的高层领导担任,否则标准无法推进到全局,也改善不了整个行业或组织的情况。 二是开放数据。数据增值的关键在于整合,但自由整合的前提是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子格式放在互联网上,让其他方自由使用。开放数据和公开数据是两个不同的概念,公开是信息层面的,是一条一条的;开放是数据库层面的,是一片一片的。开放也不一定代表免费,企业的数据,可以以收费的形式开放。开放也是有层次的,可以对某个群体、某个组织,也可以对整个社会开放。在大数据的时代,开放数据的意义,不仅仅是满足公民的知情权,更在于让大数据时代最重要的生产资料数据自由地流动起来,以催生创新,推动知识经济和网络经济的发展,促进中国的经济增长由粗放型向精细型转型升级。 三是鼓励、扶持基于数据的创新和创业。政策扶持的传统方法,可能是以政府为主导建立大数据产业园,对新兴企业提供办公场所等便利条件或者现金支持,这固然有效,但更有效的方式是调动全社会的力量。例如,拨款支持大数据开源社区、程序员协会等民间组织的建设,通过扶持类似的民间团体,快速推进新技术、新理念在全社会的传播和普及;再例如,以开放的数据为基础,举办应用程序开发大赛,向全社会征询数据使用、创新的意见,主办方可以是政府,也可以是企业,拿出一定的资金,奖励最优秀的应用程序,激发民间蕴藏的创新力量。 四要在全社会弘扬数据文化。数据文化,是尊重事实、推崇理性、强调精确的文化。要承认,回望历史,中国是个数据文化匮乏的国家,就现状而言,中国数据的公信力弱、质量低,数据定义的一致性差也是不争的事实。这方面,政府应该发挥主导作用,首先在公共领域推行数据治国的理念,要认识到,在大数据时代,公共决策最重要的依据将是系统的数据,而不是个人经验和长官意志,过去深入群众、实地考察的工作方法虽然仍然有效,但对决策而言,系统采集的数据、科学分析的结果更为重要。政府应加大数据治国的舆论宣传,将数据的知识纳入公务员的常规培训体系,力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。 最后是要围绕个人数据安全,逐步加强隐私立法。任何技术都是双刃剑,大数据也不例外。如何在推动数据开放的同时有效地保护公民隐私,将是大数据时代的一个重大挑战。 新年刚刚拉开序幕,希望中国政府相关部门尽快制定和大数据相关的政策,出台具体的措施,从而抓住历史的机遇、推动中国社会的发展和进步。2013年,应该成为中国的大数据年。
个人分类: 科研记事|20563 次阅读|2 个评论
大数据视角下的人工智能:牛顿、默顿和解析智能
热度 14 王飞跃 2012-12-28 11:47
大数据视角下的人工智能:牛顿、默顿和解析智能
A Big Data Perspective on AI: Newton, Merton, and Analytics Intelligence 大数据是时下几乎无人不谈的热门话题。下面是我对人工智能和智能系统未来前景的两点想法。 大数据的特征可以用很多词来描述,从道格 · 兰尼( Doug Laney )在 2001 年最先提出的 “3V” 模型到最近 “4V” 模型,不一而同。前 3 个 V 是“容量”( Volume ),“速度”( Velocity )和“种类”( Variety ),第四个 V 则可以是可变性( Variability )、虚拟性( Virtual )或者价值性( Value ),这取决于你所询问的对象。对于大多数人而言,那些 V 是针对它们的“大”而言的,那就是大容量,快速度,多种类以及显著的影响。但是对我而言,大数据值“大” 则必须来源于它的“小”。所谓三生万物,大数据之大正是来源于 它 涵盖了容量、速度、品种、价值、变异等等,虚拟的或真实的所有频段的数据。可以大胆预言,大数据时代将意味着“长尾效应”将是未来个人生活和商务运营一个标准模式。 但是大数据对网络时代真正意义是什么? 其实早在大数据兴起之前,在现代管理学的拓荒年代,两位管理学的先哲就曾有过精彩的论断。第一位是从爱德华兹·戴明( W. Edwards Deming ),他说,“除了上帝,其他人必须用数据说话”;第二位是彼得·德鲁克( Peter F. Drucker ):“预测未来的最好的方法就是创造未来。” 在大数据和网络时代到来之前,我们只能把大师们的论断看作一种座右铭。现在,我们必须将这两句话看成可以实现的技术准则。而这恰恰是网络时代人工智能与智能系统的工作者们热情拥抱大数据的契入点。 1、知识革命 网络时代下的大数据的洪流将导致全方位的知识革命。具体而言,我们必须从人工智能和智能系统出发,立即采取措施应对和管理潜在的挑战:  ( 1 )知识创造的革命; ( 2 )知识传播的革命; ( 3 )知识获取的革命; ( 4 )知识利用的革命; ( 5 )知识表示,评估和实施的革命。 现在看来, Web 2.0 、语义网、网络科学还只是这些革命的初级阶段。人工智能领域内的各种实实在在的努力已经初现端倪,例如美国的 VIVO 和 iPlant 项目,欧洲的 LiquidPub 和 PL @ ntNet ,中国的 iCAN , AI 3.0 , PlantWorld 等等。但距离用户实实在在地体验这场革命的成果,任然有待时日。还有许多问题有待创新,许多瓶颈尚需突破。 从当前的做法转变到基于网络的、数据驱动的做法,除了需要新的方法和系统,更需要施行一整套完善的知识管理方法,以应对规模、速度以及转变所带来影响。这就必然要求我们从一个新的视角来看待人工智能。 2、从牛顿到默顿 人工智能领域最初是构建在如下的理念之上的,即人类的本质特征——智能,是可以通过机器精确地模拟。约翰·麦卡锡( John McCarthy )于 1955 年创造了“人工智能”这个词,并将其定义为“制造智能机器的科学与工程”。过去的五十余年中,尽管人工智能领域内取得了巨大的进步,但其重点仍然是“机器的智能”。现在的问题是:什么是机器? 概括地说,这种机器仍然是牛顿的机器,遵循牛顿定律。人类是机器的创造者和(或)操纵者,但并不是机器整体的一部分。这也正是机器将会统治人类这种焦虑产生的原因。 然而,面对行将到来的 知识革命 ,我们必须处理的一种新型的机器——人作为机器的一个不可分割的部分。 Web 就是这类机器的典型例子。这种“广义机器”考虑了人和社会的行为。牛顿定律已经不足以操纵和控制这些机器,我们需要默顿( Merton )的定律,例如默顿有关自我实现的预言。我们还需要例如西蒙的有限理性与海纳的行为预测理论等等。这种广义上的机器可以称为默顿系统,其与传统机器的本质区别是人必须参与到循环中去,而对现实的计算是处理某种可能性的科学。着眼于未来智能研究和智能系统的发展,着眼于进一步发展智能研究与智能系,现在正是我们要从牛顿机器到默顿系统过渡的时候。 在默顿系统中,机器智能和人类智能将协同工作,相互支持,平行执行,这将是下一代的人工智能和智能系统运作范式。 3、走向解析智能 由数据驱动、默顿定律指导、基于大数据和网络空间的默顿系统将会是一个新的智能研发平台,戴明和德鲁克的格言将变成智能系统的现实。 产业界已经沿此方向展开了实际行动,许多主流的大公司正将商业情报正向商务解析( Business Analytics )转变。在学术界,管理专业的领袖型组织,国际运筹学与管理学研究协会( INFORMS )倡导将经营和管理实践都转变为解析,一些大学已经建议,甚至为解析学设立了新的学位,以满足对能够使用数据解决业务问题的大学毕业生的迫切需求。 INFORMS 将解析学( Analytics )定义为 “将数据转化为洞察力以辅助做出更好的决策的科学过程”。对于这个定义,我有些许保留意见,因为它只涉及到抽象过程,对抽象的逆过程(可视化过程),即“将洞察力转化数据用以做出更好的决策”是同等甚至更重要的,而且必须成为任何解析学的研究和应用的核心。维基百科的对解析学的定义,“解析学是数据中有意义的范式的发现和传播”。这个定义涵盖了上述的两个过程,显得更精确、更完善。 在解析学的崛起中人工智能可以而且必须发挥重要作用。显然,商业界从情报到解析的转变将情报的另一面忽略了。信息特别是秘密信息的收集和分发其实只是情报的一个方面,它的另一面是学习、推理、理解以及其他类似的智力活动。我们必须确保的解析学中情报同样有两面的内容,因此,我们应该从两个方面结合人工智能和解析学,迈向解析智能,也就是由默顿定律指引,默顿系统支持,按照戴明和德鲁克的格言进行运作。我们开始解析智能方式仍然是我过去倡导的 ACP 方法:人工社会进行描述解析( descriptive analytics ),计算实验进行预测解析( predictive analytics ),平行执行进行处置或规则解析( prescriptive analytics )。 我相信不久的将来,人人都需要有解析智能的个性化系统,借以辅助他(她)在网络空间进行联系和导航。谷歌或百度将不足以满足人们的需求,否则,人们将淹没在大数据的洪流之中。 (注:本文是我为 IEEE Intelligent Systems 写的主编的信之中文版,由曹建平翻译,特表谢意) ____________________________________________________________________ ____________________________________________________________________ ___________________________________________________________
个人分类: 科研记事|32113 次阅读|18 个评论
[转载]The Big Bang Theory Theme Song
Adaro 2012-11-19 19:39
Our whole universe was in a hot dense state,   宇宙一度又烫又稠密   Then nearly fourteen billion years ago expansion started. Wait...   140亿年前终于爆了炸 等着瞧...   The Earth began to cool,   地球开始降温   The autotrophs began to drool,   自养生物来起哄   Neanderthals developed tools,   穴居人发明工具   We built a wall (we built the pyramids),   我们建长城(我们建金字塔)   Math, science, history, unraveling the mysteries,   数学 自然科学 历史 揭开神秘   That all started with the big bang!   一切由大爆炸开始         "Since the dawn of man" is really not that long,   其实人类历史没有多久   As every galaxy was formed in less time than it takes to sing this song.   星系形成时间比唱完这支歌还要短   A fraction of a second and the elements were made.   元素在微秒间便形成了   The bipeds stood up straight,   两足动物直立行走   The dinosaurs all met their fate,   恐龙都得认命了   They tried to leap but they were late   想要突变 没来得及   And they all died (they froze their asses off)   就死光光了(pp都冻成了化石)         The oceans and pangea   大洋和泛古陆   See ya, wouldn't wanna be ya   拜拜 才不想学你   Set in motion by the same big bang!   都是爆炸惹的祸   It all started with the big BANG!   一切从大爆炸开始         It's expanding ever outward but one day   宇宙向外膨胀 但有一天   It will cause the stars to go the other way,   星球会反方向运动   Collapsing ever inward, we won't be here, it wont be hurt   向内坍塌 反正我们不在了 不会觉得疼   Our best and brightest figure that it'll make an even bigger bang!   我们美好光辉的形象将引发一场更大的爆炸         Australopithecus would really have been sick of us   南方古猿肯定不爽我们   Debating out while here they're catching deer (we're catching viruses)   在他们捉鹿时唧唧歪歪 (我们现在捉电脑病毒了)   Religion or astronomy, Encarta, Deuteronomy   宗教 天文 e百科 旧约申命记   It all started with the big bang!   一切从大爆炸开始         Music and mythology, Einstein and astrology   音乐 神化 爱因斯坦 占星术   It all started with the big bang!   一切从大爆炸开始   It all started with the big BANG!   一切从大爆炸开始
1432 次阅读|0 个评论
[转载]大数据时代来临
fendi 2012-11-13 11:43
进入2012年, 大数据 (big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数 大数据时代来临 据,并命名与之相关的技术发展与创新。它已经上过《 纽约时报 》《 华尔街日报 》的专栏封面,进入 美国白宫 官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的 国金证券 、 国泰君安 、 银河证券 等写进了投资推荐报告。   数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。 大数据时代 对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。   正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。   哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。” 编辑本段 大数据   最早提出“大数据”时代到来的是全球知名咨询公司 麦肯锡 ,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在 物理学 、 生物学 、 环境生态学 等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。   “大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。   大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张 DVD ;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……   截止到2012年,数据量已经从 TB (1024GB=1TB)级别跃升到 PB (1024TB=1PB)、 EB (1024PB=1EB)乃至 ZB (1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。 IBM 的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。 编辑本段 数据的价值   一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……   这些庞大数字,意味着什么?   它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。   事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。   现在就让我们一起来看看——他们是怎么做的。   这些数据都能干啥   ●华尔街根据民众情绪抛售股票;   ●对冲基金依据购物网站的顾客评论,分析企业产品销售状况;   ●银行根据求职网站的岗位数量,推断就业率;   ●投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;   ●美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;   ●美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。 编辑本段 数据转化成财富 个案一   你开心他就买你焦虑他就抛   华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。   霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。   这一招收效显著——今年第一季度,霍廷的公司获得了7%的收益率。 个案二   国际商用机器公司(IBM)估测,这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街,这一时效至关重要。5年前,华尔街2%的企业搜集微博等平台的“非正式”数据;如今,接近半数企业采用了这种手段。   ●“社会流动”创业公司在“大数据”行业生机勃勃,和微博推特是合作伙伴。它分析数据,告诉广告商什么是正确的时间,谁是正确的用户,什么是应该发表的正确内容,备受广告商热爱。   ●通过乔希·詹姆斯的Omniture(著名的网页流量分析工具)公司,你可以知道有多少人访问你的网站,以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯去年把公司卖掉,进账18亿美元。   ●微软专家吉拉德喜欢把这些“大数据”结果可视化:他把客户请到办公室,将包含这些公司的数据图谱展现出来——有些是普通的时间轴,有些像蒲公英,有些则是铺满整个画面的泡泡,泡泡中显示这些客户的粉丝正在谈论什么话题。   ●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型,弄清楚用户点击广告的动机和方式。 编辑本段 数据的可视化   “数据是新的石油。” 亚马逊 前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时,成立于1881年的世界最大影像产品及服务商 柯达 正申请破产。   大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题。   “当时时变幻的、海量的数据出现在眼前,是怎样一幅壮观的景象?在后台注视着这一切,会不会接近上帝俯视人间星火的感觉?”   这个问题我曾请教过刘建国,中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“ 天网 ”。   要知道, 刘建国 曾任至 百度 的首席技术官,在这样一家每天需应对网民各种搜索请求1.7亿次(现在约为8.77亿次)的网站中,如果只是在后台静静端坐,可能片刻都不能安心吧。百度果然在提供搜索服务之外,逐渐增添了 百度指数 ,后又建立了基于网民搜索数据的重要产品“贴吧”及百度统计产品等。   刘建国没有直接回答这个问题,他想了很久,似乎陷入了回忆,嘴角的笑容含着诡秘。   倒是有公司已经在大数据中有接近上帝俯视的感觉,美国洛杉矶就有企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。   在数据可视化呈现方面,我最新接收到的故事是,一位在美国思科物流部门工作的朋友,很聪明的印度裔小伙子,近期被Facebook高价挖角,进入其数据研究小组。他后来惊讶地发现,里面全是来自物流企业、供应链方面的技术人员和专家,“Facebook想知道,能不能用物流的角度和流程的方式,分析用户的路径和行为。” 编辑本段 三个特征   除了数据量大之外,大数据时代的数据还呈现出其他三个特征。 类型繁多   第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。 价值密度低   第二个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。 速度快时效高   第三个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。   既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 编辑本段 大数据产业崛起   越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。   今年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。   联合国也在2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。   而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据,是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出,“对于企业来说,海量数据的运用将成为未来竞争和增长的基础”,该报告在业界引起广泛反响。   IBM则提出,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”   在国内,百度已经致力于开发自己的大数据处理和存储系统;腾讯也提出目前已经到了数据化运营的黄金时期,如何整合这些数据成为未来的关键任务。   事实上,自2009年以来,有关“大数据” 主题的并购案层出不穷,且并购数量和规模呈逐步上升的态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元,大数据的产业价值由此可见一斑。 编辑本段 数据提供决策依据   大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。   大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。   事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。   最让人吃惊的例子是,社交媒体监测平台DataSift监测了Facebook(脸谱) IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。   这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一,此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹, 智能电网 、 智慧交通 、 智慧医疗 、 智慧城市 等的蓬勃兴起,都与大数据技术与应用的发展息息相关。   “大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。 编辑本段 企业如何应对   一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面五个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面五点。 以企业的数据为目标   几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。 以业务需求为准则   虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。 重新评估企业基础设施   大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。 重视大数据技术   大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的 Hadoop , MapReduce , NoSQL 等技术都是近年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。 培训企业的员工   大多数企业最缺乏的是人才,而当大数据到临的时候,企业将会缺少这方面的采集收集分析方面的人才,对于一些公司,特别是那种人比较少的公司,工作人员面临大数据将是一种挑战,企业要在平时的时候多对员工进行这方面的培训,以确保在大数据到来时,员工也能适应相关的工作。 培养三种能力   Teradata大中华区首席执行官辛儿伦对新浪科技表示,随着大数据时代的到来,企业应该在内部培养三种能力。第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力。   做到上面的几点,当大数据时代来临的时候,面临大量数据将不是束手无策,而是成竹在胸,而从数据中得到的好处也将促进企业快速发展。 参考资料 1. 大数据时代降临 .半月谈网 .2012-09-22 . 2. IT部门如何应对大数据时代? .CIO时代网 .2012-02-27 . 3. “大数据”时代来临决策不能只凭经验 .东方早报网 .2012-04-11 . 4. “大数据时代”来临 .北京晚报网 .2012-06-15 . 5. 大数据时代来临:国内IT企业布局已然落后 .新浪网 .2012-06-01 .
2797 次阅读|0 个评论
【科研笔记:big data NLP, how big is big?】
热度 1 liwei999 2012-10-31 19:03
Big data 与 云计算一样,成为当今 IT 的时髦词 (buzzword / fashion word ). 随着社会媒体的深入人心以及移动互联网的普及,人手一机,普罗百姓都在随时随地发送消息,发自民间的信息正在微博、微信和各种论坛上遍地开花,big data 呈爆炸性增长。对于信息受体(人、企业、政府等),信息过载(information overload)问题日益严重,利用 NLP 等高新技术来帮助处理抽取信息,势在必行。 对于搜索引擎,big data 早已不是新的概念,面对互联网的汪洋大海,搜索巨头利用关键词索引(keyword indexing)为亿万用户提供大海捞针的搜索服务已经很多年了。我们每一个网民都是big data搜索的受益者,很难想象一个没有搜索的互联网世界。可是对于语言技术,NLP 系统需要对语言做结构分析,理解其语义,这样的智能型工作比给关键词建立索引要复杂千万倍,也因此 big data 一直是自然语言技术的一个瓶颈。不说整个互联网,光社会媒体这块,也够咱喝一壶了。 目前的状况如何呢? 我们的语言系统每天阅读分析五千万个帖子。如果帖子的平均词量是30,就是 15 亿词的处理量。This is live feed,现炒现卖,立等可取。 至于社会媒体的历史档案,系统通常追溯到一年之前,定期施行深度分析并更新数据库里的分析结果。我们的工程师们气定神闲 ,运筹帷幄之中,遥控着数百台不知身处哪块祥云的虚拟服务器大军,令其在“云端”不分昼夜并行处理海量数据,有如巨鲸在洋,在数据源与数据库之间吞吐自如,气派不凡。 when we talk about NLP scaling up to big data, it is this BIG This is the progress we have made over the last two years. I feel extremely lucky to work with the engineering talents and product managers who made this possible. It is hardly imaginable that this can be done at this speed in other places than the Valley where magic happens everyday. Where are we? deep parsing 50 MILLION posts a day!!! For one year NLP-indexing of social media data we use to support our products, we have 11 billion tweets (about 6-7% of the entire sample from twitter) 1 billion Facebook posts 1 billion forum posts from 5 million domains 430 million blog posts from 160 million domains 30 million reviews from 300 domains 55 million news reports from 55,000 domains 225 million comments from 100 million domains 回看这些数据,感受到的震撼与我第一次在纽约某科学馆看巨型科教片【宇宙起源】类似:不可思议。个体真是太渺小了。宇宙之大超过想象极限。 And that is by no means the limit for our NLP distributed computing: the real bottleneck comes from the cost considerations rather than the technical barriers of the architecture. Money matters. Archimedes said, Give me a place to stand on, and I will move the Earth . With the NLP magic in hands, we can say, give me a large cloud, we can conquer the entire info world! 阿基米德 说,给一个支点,我将翘起地球。今天的NLP技术官僚和工程师们可以说,给我一片云,一片足够大的云,我将鸟瞰整个儿信息世界。 一年社会媒体档案的 Big data,比起搜索引擎面对的整个互联网,自然是小巫见大巫。然而,对于 NLP,这已经远远超过我们当初可以想象的极限。令人兴奋的是,处理数据之大虽然超过想象,但却不再自惭渺小,因为渺小如我及其外化的系统已然溶入 big data 的海洋,体验的是弄潮儿的刺激和爽快。 曾几何时,大约25年前吧,我们守着 IBM-PC 测试 parsing,大约每句话需要30-35秒处理时间。我抱怨说太慢了,导师笑道:你知足吧。你们这一代开始学这行,是撞上大运了,小小的 PC 可以放在办公室调试,没有比这个更方便了。 原来,30几年前,在前 PC 时代,我的导师要做一个试验那叫一个难,常常需要深夜到计算中心排队轮值。当时的机器体积超大,可存储和速度都无法与 PC 比。导师说,一次去东北鉴定某教授的机器翻译系统,一个句子输进去,系统硬是绕不出来,鉴定组一行于是出去喝咖啡吃早点,折腾半拉小时回来,才见到结果。 再往前,我的导师刘先生与另一位高先生(我入行的时候他已去世),在上世纪50年代末期 (当时我还没有来到这个世界呢) ,于1959 年开创了中国机器翻译的事业,测试了10个句子,上机试验获得成功(没有汉字fonts,输出的自动翻译译文是汉字编码)。当时的科学报道我读过,是高先生写的,字里行间洋溢着的兴奋之情,穿越时空深深打动了弱冠之年的我。 导师说过,在NLP这一行,我们在60年代初真真确确属于世界领先,得益于汉语机器处理的难度以及汉外之间的差异。我理解的他的言下之意是:我们何时再现辉煌? 天降大任,此其时也。 【置顶:立委科学网博客NLP博文一览(定期更新版)】
个人分类: 立委科普|3369 次阅读|1 个评论
Big SNS(大社交)的诞生,物联网与社交网络的结合
热度 1 liufeng 2012-10-7 18:00
Big SNS(大社交)的诞生,物联网与社交网络的结合
作者:刘锋 一直以来,社交网络被认为就是互联网上人与人的交互社区。但随着物联网,云计算,大数据等新现象的出现,社交网络的形态也必将发生改变,如何改变?原有的社交理论体系能不能适应新的变化?这种改变背后的原因是什么?这些问题将成为本文探讨的重点。 一,传统社交网络 社交网络无疑已成为今天互联网最热门的概念和应用,到2012年,Facebook已经超于Google成为世界第一大流量网站,在中国,以新浪微博,腾讯微博,人人网,开心网为代表的社交网络成为中国网民最活跃的场所。 什么是社交网络?不同学者给虚拟社区下了不同的定义,其中Rheingold, H(1993)的定义比较全面,他认为虚拟社区是在网络中产生的社会群体,在这个群体中有很多人参加公共讨论,并且持续足够长时间,能够形成人气,最终形成虚拟空间内的个人的交互关系。 二,Big SNS(大社交)即将诞生 当互联网进入21世纪以来,以传感器为基础的物联网开始兴起,简而言之: 物联网就是物物相连的互联网。它有两层意思:第一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;第二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信。 当物联网连接的物体不断产生信息并形成报告发送给向互联网用户时,一个值得关注的动态是,它们也将加入到传统的社交网络中,与社交网络中的”人“进行交互。 2012年10月,三星提交了一项自动化日志专利的申请文件。这项专利将会根据用户的一些数据自动生成诸如“今天发生了什么”这样格式的日志。日志信息的收集来源将会非常丰富,比如用户智能手机中的GPS软件、最新的天气预告、备忘录里的行程安排、照片甚至音乐播放列表。然后,系统对收集到的信息进行分析,自动生成至少包含了一个完整句子的日志。 这是一个重要的成果,它隐含的意义在于,如果这个自动日志不是针对人,而是帮助一栋大楼,一辆汽车,一个景区生成日志,并以大楼,汽车,景区的名义发布到微博或者facebook上,那么你社交的将不再是”人“,而是”物“。 当物联网与社交网络融合时,每一栋大楼,每一辆汽车,每一个景区,每一个商场,每一个电器都会在SNS网站上开设账号(如微博,如facebook),自动的发布自己实时的信息,并与其他”人“,和“物”进行交互. 社交网络的定义将不再仅仅是人与人的社交,而是人与人,人与物,物与物的范围更大的社交网络. 我们可以称为“大社交网络”-BIG Social Networking Services (Big SNS) 三,六度空间理论在“大社交网络”-BIG SNS中是否还适用 @天使城杰夫 认为六度空间理论将不适用,他说人与人六度空间,是因人本身的流动性,依顺序为血缘亲人-三阶段求学同学-变换工作的同事-变换地址后的当地朋友,及所有人因为朋友的变动而指数扩展的网络连通。物则不然:一般被人安排在一个地方执行一个功能不变 @Alisoncastle:认为六度理论最有价值的地方在于证明人与人之间的存在联系,但一个人人际关系的影响可能最多到第4层,我猜测此理论对于物的意义在于说明物对其他万事万物都存在联系,但物的真正作用可能只在于4大主要方面 @韦英平:认为信息的流动确实正在跨界,但是说物与人、物与物的社交,还是有问题吧。毕竟物是无意识的 四, “大社交网络”-BIG SNS产生的根源 我们在《互联网进化论》一书中提到,互联网正在向与人脑高度相似的方向进化。它将具备自己的感觉神经系统,运动神经系统,中枢神经系统,物联网和云计算正是这些系统的萌芽,而社交网络中的个人空间正是互联网虚拟大脑的神经元,这些神经元不但通过手机,台式机,笔记本电脑与互联网用户进行信息交互,也必然会与互联网的感觉,运动神经系统接驳,形成完整的互联网神经元结构。这一进化趋势导致社交网络必然会发展成为人与人,人与物,物与物交互的大社交网络。 附: 《互联网进化论》2012年9月由清华大学出版社正式出版,主要内容是用脑科学预测互联网未来发展趋势,同时提出互联网将成为破解大脑之谜的钥匙。本书总结了互联网进化的 9 条规律。阐述互联网如何从一个分裂,不完善的网络进化成一个与人类大脑高度相似的组织结构。 详细介绍 请点击这里
5619 次阅读|1 个评论
关于big endian和litter endian遇到的问题
huangluoyi 2012-6-8 14:54
昨日打算改善之前写的车车通信程序,主要想通过 Socket 将一种 IEEE 802.11p 嵌入式设备(非 Intel 架构 , Linux )与笔记本( Intel 架构 , Windows )相连。由于之前使用字符串传输在数据处理上的不便,拟将程序改成使用 Struct 形式传输。同时也为了变更一下与信号控制机之间的通讯方式。 问题描述:笔记本端,同组研究人员王吟松博士写了一个 Windows 平台下 C# 传输 Struct 形式 UDP 数据包示例程序。我在嵌入式系统里写了 UDP 收发 Struct 程序,自认为应该不会出错,与 Windows 平台软件对接,连接成功,也能传输数据,但收到的数据与发送的数据差别甚大。 在使用 TCPUDPDbg (很好用的一个调试软件)调试时,将传输格式调整为 16 进制,结果发现接收到 Linux 传来的数据和 Windows 传来的数据极像,但又说不出哪里不同。仔细研究发现,是字节的顺序出现了不同。 猛然想在去年在电装美国的时候, Susan 提出了 big endian 和 litter endian 的问题。当时由于使用字符串形式传输,并没有意识到此问题的重要性。这里要感谢 Susan ,要不是她告诉我们有 big endian 和 little endian ,我决不会想到是两个平台不同导致的问题。知道问题所在,接下来就是 baidu 和 google 能做的事情了。一番折腾之后,发现问题的关键就是在发送或接收的数据包里进行字节流顺序的转换。 当然此问题有多种解决方法:你可以在嵌入式系统端用 Linux c/c++ 的左移和右移解决(这是张立业博士建议的,但后来一想,左移和右移对 double 类型是不靠谱的,所以就没试,试过的人可以告诉我一下是否可行)。你也可以找一个临时变量,倒腾倒腾也能把顺序转换。 懒得开 Linux 虚拟机,就决定改改王博士写的 C# 程序,上 MSDN ,果然找到了一个 Array.reverse 方法,功能是返回一个单元顺序相反的数组。找到 C# 程序中发送和接收方法部分,将 big endian 字节流( Linux 端)改成 little endian 字节流( Windows 端)。搞定!然后就去吃饭了。。。 注意,并不能单纯使用 Array.reverse 将收到的数据包进行转换,详见后面说明。 以下转自网络: http://hi.baidu.com/memessenger/blog/item/1cb492164434d54120a4e916.html 在各种计算机体系结构中,对于字节、字等的存储机制有所不同,因而引发了计算机通信领 域中一个很重要的问题,即通信双方交流的信息单元(比特、字节、字、双字等等)应该以什么样的顺序进行传送。如果不达成一致的规则,通信双方将无法进行正 确的编 / 译码从而导致通信失败。目前在各种体系的计算机中通常采用的字节存储机制主要有两种: Big-Endian 和 Little-Endian ,下面先 从字节序说起。 一、什么是字节序 字节序,顾名思义字节的顺序,再多说两句就是大于一个字节类型的数据在内存中的存放顺序 ( 一个字节的数据当然就无需谈顺序的问题了 ) 。 其实大部分人在实际的开 发中都很少会直接和字节序打交道。唯有 在跨平台以及网络程序中字节序才是一个应该被考虑的问题。 在所有的介绍字节序的文章中都会提到字 节序分为两类: Big-Endian 和 Little-Endian ,引用标准的 Big-Endian 和 Little-Endian 的定义如下: a) Little-Endian 就是 低位字节排放在内存的低地址端,高位字节排放在内存的高地址端 。 b) Big-Endian 就是 高位字节排放在内存的低地址端,低位字节排放在内存的高地址端 。 c) 网络字节序: TCP/IP 各层协议将字节序定义为 Big-Endian ,因此 TCP/IP 协议中使用的字节序通常称之为网络字节序。 1.1 什么是高 / 低地址端 首先我们要知道我们 C 程序映像中内存的空间布局情况:在《 C 专 家编程》中或者《 Unix 环境高级编程》中有关于内存空间布局情况的说明,大致如下图: ----------------------- 最高内存地址 0x ffffffff 栈底 栈 栈顶 ----------------------- NULL ( 空洞 ) ----------------------- 堆 ----------------------- 未初始 化的数据 ----------------------- 统称数据段 初始化的数据 ----------------------- 正 文段 ( 代码段 ) ----------------------- 最低内存地址 0x 00000000 以上图为例如果我们在栈 上分配一个 unsigned char buf ,那么这个数组变量在栈上是如何布局的呢?看下图: 栈底 (高地址) ---------- buf buf buf buf ---------- 栈顶 (低地址) 1.2 什么是高 / 低字节 现在我们 弄清了高 / 低地址,接着考虑高 / 低字节 。有些文章中称低位字节为最低有效位,高位字节为最高有效位。如果我们有一个 32 位无符号整型 0x12345678 ,那么高位是什么,低位又是什么呢? 其实很简单。 在十进制中我们都说靠左边的是高位,靠右边的是低位,在其他进制也是如此 。就拿 0x12345678 来说, 从高位到低位的字节依次是 0x12 、 0x34 、 0x56 和 0x78 。 高 / 低地址端和高 / 低字节都弄清了。我们再来回顾 一下 Big-Endian 和 Little-Endian 的定义,并用图示说明两种字节序: 以 unsigned int value = 0x12345678 为例,分别看看在两种字节序下其存储情况,我们可以用 unsigned char buf 来表示 value : Big-Endian: 低地址存放高位 ,如下图: 栈底 (高地址) --------------- buf (0x78) -- 低位 buf (0x56) buf (0x34) buf (0x12) -- 高位 --------------- 栈顶 (低地址) Little-Endian: 低地址存放低位 ,如下图: 栈底 (高地址) --------------- buf (0x12) -- 高位 buf (0x34) buf (0x56) buf (0x78) -- 低位 -------------- 栈 顶 (低地址) 二、各种 Endian 2.1 Big-Endian 计算机体系结构中一种 描述多字节存储顺序的术语 ,在这种机制中 最重要字节( MSB )存放在最低端的地址 上。采用这种机制的处理器有 IBM3700 系列、 PDP-10 、 Mortolora 微处理器系列和绝大多数的 RISC 处理器。 +----------+ | 0x34 |-- 0x00000021 +----------+ | 0x12 |-- 0x00000020 +----------+ 图 1 :双字节数 0x1234 以 Big-Endian 的方式存在起始地址 0x00000020 中   在 Big-Endian 中,对于 bit 序列 中的 序号编排方式 如下 (以双字节数 0x 8B8A 为例): bit 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 +-----------------------------------------+ val | 1 0 0 0 1 0 1 1 | 1 0 0 0 1 0 1 0 | +----------------------------------------+ 图 2 : Big-Endian 的 bit 序列编码方式 2.2 Little-Endian 计算机体系结构中 一种描述多字节存储顺序的术语,在这种机制中 最不重要字节( LSB )存放在最低端的地址上 。采用这种机制的处理器有 PDP-11 、 VAX 、 Intel 系列 微处理器 和一些网络通信设备。该术语除了描述多字节存储顺序外还常常用来描述一个字节中各个比特的排放次序。 +----------+ | 0x12 |-- 0x00000021 +----------+ | 0x 34 |-- 0x00000020 +----------+ 图 3 :双字节数 0x1234 以 Little-Endian 的方式存在起始地址 0x00000020 中  在 Little-Endian 中,对于 bit 序列中的序号 编排和 Big-Endian 刚好相反 ,其方式如下( 以双字节数 0x8B8A 为例 ): bit 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 +-----------------------------------------+ val | 1 0 0 0 1 0 1 1 | 1 0 0 0 1 0 1 0 | +-----------------------------------------+ 图 4 : Little-Endian 的 bit 序列编码方式 注 2 : 通常我们说的主机序( Host Order )就是遵循 Little-Endian 规则 。所以当两 台主机之间要通过 TCP/IP 协议进行通信的时候就需要调用相应的函数进行主机序 ( Little-Endian )和网络序( Big-Endian )的转换 。 注 3 :正因为这 两种机制对于同一 bit 序列的序号编排方式恰 恰相反 ,所以《现代英汉词典》中对 MSB 的翻译为“最高有效位”欠妥,故本文定义为“最重要的 bit/byte ”。 2.3 Middle-Endian 除了 Big-Endian 和 Little-Endian 之外的多字节存储顺序就是 Middle- Endian ,比如以 4 个字节为例:象 以 3-4-1-2 或者 2-1-4-3 这样的顺序存储的就是 Middle-Endian 。这种存储顺序偶尔会在一些小 型机体系中的十进制数的压缩格式中出现 。 嵌入式系统开发者应该对 Little-endian 和 Big-endian 模式非常了解。采用 Little-endian 模式的 CPU 对操作数的存放方式是从低字节到高字节 ,而 Big-endian 模式对操作数的存放方式是从高字节到低字节 。 32bit 宽的数 0x12345678 在 Little-endian 模式 CPU 内存中的存放方式(假设从地址 0x4000 开始存放)为: 内存 地址 0x4000 0x4001 0x4002 0x4003 存放内容 0x78 0x56 0x34 0x12 而在 Big- endian 模式 CPU 内存中的存放方式则为: 内存地址 0x4000 0x4001 0x4002 0x4003 存放内容 0x12 0x34 0x56 0x78 三、 Big-Endian 和 Little-Endian 优缺点 Big-Endian 优点: 靠首先提取高位字节,你总是可以由看看在偏移位置为 0 的字节来确定这个数字是 正数还是负数。 你不必知道这个数值有多长,或者你也不必过一些字节来看这个数值是否含有符号位 。 这个数值是以它们被打印出来的顺序存放的 ,所以 从二进制到十进制的函数特别有效 。因而,对于不同要求的机器,在设计存取方式时就会不同。 Little-Endian 优点: 提取一个,两个,四个或者更长字节数据的汇编指令以与其他所有格式相同的方式进行 :首先在 偏移地址为 0 的地方提取最低位的字节,因为地址偏移和字节数是一对 一的关系,多重精度的数学函数就相对地容易写了 。 如果你增加数字的值,你可能在左边增加数字(高位非指数函数需要更多的数字)。因此, 经常需要增加两位数字并移动存储器里所有 Big-endian 顺序的数字,把所有数向右移,这会增加计算机的工作量。不过,使用 Little- Endian 的存储器中不重要的字节可以存在它原来的位置,新的数可以存在它的右边的高位地址里。这就意味着计算机中的某些计算可以变得更加简单和快速。 四、如何检查处理器是 Big-Endian 还是 Little-Endian? 由于 联合体 union 的存放顺序是所有成员都从低地址开始存放 ,利用该特性就可以 轻松地获得了 CPU 对内存采用 Little- endian 还是 Big-endian 模式读写 。例如: int checkCPUendian(){ union { unsigned int a; unsigned char b; }c; c.a = 1; return (c.b == 1); } /*return 1 : little-endian, return 0:big-endian*/ 五、 Big-Endian 和 Little-Endian 转 换 现有的平台上 Intel 的 X86 采用的是 Little-Endian ,而像 Sun 的 SPARC 采用的就是 Big-Endian 。那么在跨平台或网络程序中如何实现字节序的转换呢?这个通过 C 语言的移位操作很容易实现,例如下面的 宏: #if defined(BIG_ENDIAN) !defined(LITTLE_ENDIAN) #define htons(A) (A) #define htonl(A) (A) #define ntohs(A) (A) #define ntohl(A) (A) #elif defined(LITTLE_ENDIAN) !defined(BIG_ENDIAN) #define htons(A) ((((uint16)(A) 0xff00) 8) | \ (((uint16)(A) 0x00ff) 8)) #define htonl(A) ((((uint32)(A) 0xff000000) 24) | \ (((uint32)(A) 0x00ff0000) 8) | \ (((uint32)(A) 0x0000ff00) 8) | \ (((uint32)(A) 0x000000ff) 24)) #define ntohs htons #define ntohl htohl #else #error "Either BIG_ENDIAN or LITTLE_ENDIAN must be #defined, but not both." 网络字节顺序 1 、 字节内的比特位不受这种顺序的影响 比如一个字节 1000 0000 (或表示为十六进制 80H) 不管是什么顺序其内存中的表示法都是这样。 2 、 大于 1 个字节的数据类型才有字节顺序问题 比如 Byte A ,这个变量只有一个字节的长度,所以根据上一条没有字节顺序问题。所以字节顺序是“字节之间的相对顺序”的意思。 3 、 大于 1 个字节的数据类型的字节顺序有两种 比如 short B ,这是一个两字节的数据类型,这时就有字节之间的相对顺序问题了。 网络字节顺序是“所见即所得”的顺序 。而 Intel 类型的 CPU 的字节顺序与此相反。 比如上面的 short B=0102H( 十六进制,每两位表示一个字节的宽度)。所见到的是“ 0102 ”,按一般数学常识,数轴从左到右的方向增加,即内存地址从左到右增加的话,在内存中这个 short B 的字节顺序是: 01 02 这就是网络字节顺序。所见到的顺序和在内存中的顺序是一致的! 假设通过抓包得到网络数据的两个字节流为: 01 02 而相反的字节顺序就不同了,其在内存中的顺序为: 02 01 如果这表示两个 Byte 类型的变量,那么自然不需要考虑字节顺序的问题。如果这表示一个 short 变量,那么就需要考虑字节顺序问题。根据网络字节顺序“所见即所得”的规则,这个变量的值就是: 0102 假设本地主机是 Intel 类型的,那么要表示这个变量,有点麻烦: 定义变量 short X ,字节流地址为: pt ,按顺序读取内存是为 x=*((short*)pt); 那么 X 的 内存顺序 当然是 01 02 按 非“所见即所得”的规则 ,这个内存顺序和看到的一样显然是不对的,所以要把这两个字节的位置调换。调换的方法可以自己定义,但用已经有的 API 还是更为方便。 网络字节顺序与主机字节顺序 NBO 与 HBO 网络字节顺序 NBO ( Network Byte Order ):按从高到低的顺序存储,在网络上使用统一的网络字节顺序,可以避免兼容性问题。主机字节顺序( HBO , Host Byte Order ):不同的机器 HBO 不相同,与 CPU 设计有关计算机数据存储有两种字节优先顺序:高位字节优先和低位字节优先 。 Internet 上数据以 高位字节优先顺序在网络上传输 ,所以对于在内部是以低位字节优先方式存储数据的机器, 在 Internet 上传输数据 时就需要进行转换。 htonl() 简述: 将主机的无符号长整形数转换成网络字节顺序。 #include winsock.h u_long PASCAL FAR htonl( u_long hostlong); hostlong :主机字节顺序表达的 32 位数。 注释: 本函数将一个 32 位数从主机字节顺序转换成网络字节顺序。 返回值: htonl() 返回一个网络字节顺序的值。 inet_ntoa() 简述: 将网络地址转换成“ . ”点隔的字符串格式。 #include winsock.h char FAR* PASCAL FAR inet_ntoa( struct in_addr in); in :一个表示 Internet 主机地址的结构。 注释: 本函数将一个用 in 参数所表示的 Internet 地址结构转换成以“ . ” 间隔的诸如“ a.b.c.d ”的字符串形式。请注意 inet_ntoa() 返回的字符串存放在 WINDOWS 套接口实现所分配的内存中。应用程序不应假设该内存是如何分配的。在同一个线程的下一个 WINDOWS 套接口调用前,数据将保证是有效。 返回值: 若无错误发生, inet_ntoa() 返回一个字符指针。否则的话,返回 NULL 。其中的数据应在下一个 WINDOWS 套接口调用前复制出来。 网络中传输的数据有的和本地字节存储顺序一致,而有的则截然不同,为了数据的一致性,就要把本地的数据转换成网络上使用的格式,然后发送出去,接收的时候也是一样的,经过转换然后才去使用这些数据,基本的库函数中提供了这样的可以进行字节转换的函数,如和 htons( ) htonl( ) ntohs( ) ntohl( ) ,这里 n 表示 network , h 表示 host , htons( ) htonl( ) 用于本地字节向网络字节转换的场合, s 表示 short ,即对 2 字节操作, l 表示 long 即对 4 字节操作。同样 ntohs( )ntohl( ) 用于网络字节向本地格式转换的场合。 #endif
个人分类: 社会杂谈|6690 次阅读|0 个评论
Big Data unleashes more power
qhhuangscut 2012-3-21 12:39
美国福布斯网站报道了PJM 斥资 $280 million 搭建自己的私有云(SaaS),提升了实时调度的能力,实现其称为“Perfect Dispatch”的发电机出力调度。 http://www.forbes.com/sites/markpmills/2012/03/19/information-technology-unleashes-the-electric-equivalent-of-a-free-keystone-pipeline/ 这为其他电力公司提供了很好的范式——引入基于云的Big DataAnalytics改造目前的Control Center, 实现实时调度和Information-centric power delivery. 文章最后的评论 “This is the first secular transformation of electric infrastructure since Edison and Westinghouse duked it out over AC versus DC transmission.” 可能有夸大之嫌,但确实改造传统的电力--无论是在以金融、IT为主的美国,还是目前的中国-- it is a big deal .
个人分类: TechZone|3471 次阅读|0 个评论
Big Data: Principles and best practices of scalable realtime
热度 1 tonia 2012-1-13 05:36
本文是《Big Data: Principles and best practices of scalable realtime data systems》一书 样章第一章 的读后感。 原书信息在 这里 。 本书是分布式实时处理系统Storm的作者及另一位twitter老兄合作写的。 针对big data的处理问题,本文提出了一种新的大数据处理框架。就这点上说,论述方式有点像xx学术论文,提出一个新的框架,然后逐步论述它。另外,与短小精悍的《 big data glossary 》走马观花的概述相比,本书结合了twitter的实践,应该更具有实际参考价值。不过这本书刚出来,所以暂时没有电子书下载 :-( 这个新框架主要分为三层,自底向上分别是: 1. Batch Layer 主要进行批量处理,其特点是延时较高、高吞吐量,并且是append-only(没有delete和update的概念)的。本书采用Hadoop实现,包括HDFS和Hadoop MapReduce。包括对全部数据集的预计算。 2. Serving Layer 主要进行批量更新,其特点是延时相对较低,一般数小时更新一次。本书主要采用HBase和Cassandra实现。 3. Speed Layer 主要进行低延时更新(与Serving Layer的批量更新相比,这里更接近于实时更新),是一种流处理(stream processing),采用各种复杂的增量算法实现。本层是对Serving Layer的补充,即只处理Serving Layer中间“没有”的“数小时”的数据,并且一旦这些数据在Serving Layer存在了,Speed Layer就将它们丢弃,并重新处理来着应用层的新数据。注意,查询的结果将来自于Serving Layer和Speed Layer处理结果的merge。本书采用Storm实现。 此外,作者还将big data相关的开源项目做了以下分类: 1. 批量计算系统:延时较高、吞吐量大,如 Hadoop 。 2. 序列化框架:为对象和字段提供一种模式定义语言,实现传输通信以及不同语言环境之间的转化。如 Thrift , Protocol Buffers , 和 Avro 。 3. 支持任意存取的NoSQL数据库:牺牲了SQL强大的表现力优势,根据应用场景不同仅支持部分操作。按照 CAP理论 来说,就是牺牲C(一致性)或A(可用性)来实现AP或CP。如 Cassandra , HBase , MongoDB , Voldemort , Riak , CouchDB 等。 4. 消息/排队系统:保证进程之间以容错和异步的方式传递消息,在实时处理系统中非常重要。如 Kestrel 。 5. 实时计算系统:高吞吐、低延时的流处理系统。如 Storm 。 后续章节主要是对各个Layer的详细描述。目录如下: 1. A new paradigm for Big Data 2. Data model for Big Data 3. Data storage on the batch layer 4. MapReduce and batch processing 5. Batch processing with Cascading 6. Basics of the serving layer 7. Storm and the speed layer 8. Incremental batch processing 9. Layered architecture in-depth 10. Piping the system together 11. Future of NoSQL and Big Data processing
个人分类: book|13096 次阅读|1 个评论
夏威夷大岛一日图文游记
热度 4 woodenson 2011-11-9 17:28
夏威夷大岛一日图文游记
就着美国野生动物学会18届年会的机会,有机会到了夏威夷。会场设在大岛的Hilton Waikoloa Village,hilton在这里好像是四星的标准,条件确实很好,蓝天、大海、沙滩,给人就是度假休闲很放松的感觉。会议正式开始在6号,于是利用5号一天,参加了一个大岛一日游的团,很不错,图记为主。 说是成团,其实只不过是一辆suv,一个导游兼司机,两个芝加哥游客,一对西雅图老夫妇,再加上我,总共就6个人。其实车上还闲着四五个座位,但似乎他们认为,一个人就应该占两个座位,我4号坐shuttle bus的时候也是空着几个座位就不让上人了。不过这样也好,大家活动空间大,也舒服。我上午10点在king's shop门口准时上车,司机(是不是我记人名有些天生的白痴,中国人的名字都记不住,老外的更别提了)人不错,安排我坐在副驾上,所以一路风景尽收眼底。 来了几天,其实感觉这里原始生境还真不适合人居住,一个大岛,大概一周也就四五百公里的周长,面积可能和青海湖差不多,而且就是5座火山喷发而成,喷出的黑色岩浆冷却下来,就成了大岛的基底。就是这样的地方,老美居然也能把它搞成旅游胜地。不过,这里的景观还是很多样的,下面就跟着行程,简单介绍。 第一站,rainbow fall。hilton waikoloa位于大岛的西侧,出了度假村所在的区域由于人工改造外,这里一片荒芜,车子开出去,沿途一片苍茫,没有乔木灌木,只有一些杂草,很多地方甚至寸草不生。大概开了接近一个小时,车子终于出了这篇荒芜之地,进入winding road。这条路估计有个十几公里,就在两座火山脚下。由于季风原因,这里几乎终年下雨刮风,这里的公路基本上都专门安装了行车路障,一车一道,非常严格。前半程我们还晴空万里,这一段路程就是暴雨倾盆。路两侧的生境也不再是草原,变成了典型的热带灌丛,密密实实。 近处是草原,远处是火山 winding road,风雨交加 winding road两侧低矮的灌丛 过了winding road之后开车没多久,就到了rainbow fall,也就是著名的彩虹瀑布了。瀑布确实不错,但或许是看过一些国内的大瀑布,并没觉得有多壮观。瀑布旁边的大榕树,倒是有点让我惊奇,尽管我早就知道榕树可以单树成林。 彩虹瀑布,瀑布下面是个大溶洞 巨大的母子榕树,看看树下的两个人就知道它有多大了。 看完彩虹瀑布,时间大概到了12点,导游把车开到了他们自己在hilo的一个户外店,说是让我们稍微休息下,或许是想让我们购物,反正转了一会就出来了,然后和西雅图的老夫妻聊了会天。之后导游开车,下一站是还是导游公司所属的一个农庄,在这里我们品尝了地道的土特产,水果啊,坚果啊,什么的,当然还有烤肉作为午餐。 第三站是black sand beach,也是很著名的一个景点。黑沙滩据说在80年代之前是确有其名的,但80年代后火山喷发,熔岩逐渐将这片黑沙滩覆盖,到现在不到30年的时间,这里基本没有黑沙滩了,有的只是黑色的凝固的火山熔岩。当然,也是这个火山熔岩还在不断增加着大岛的面积,就像我们的黄河泥沙淤积增加着我国的国土面积一样。 熔岩喷涌过来将原有的可可树吞噬,只留下树干的空洞 黑沙滩,其实是熔岩收到风吹日晒海浪拍打形成的熔岩沙。 不过植物的生命力是顽强,在熔岩断裂的地方,他们又冒出来了,几十年后估计又是一片黑沙滩。 第四站,rainforest以及大溶洞。看到热带雨林,才会给人这是热带的感觉,否则怎么会让人知道夏威夷是在什么地界呢?至于溶洞,虽然也很大,但和我们西南地区的很多溶洞比起来,也不过如此。 最后一站,自然就是大岛火山地质公园。我们看的是kilauea火山,这座火山是大岛五座火山中最小的一个,但却是最活跃的。最近的一百年,大的喷发就有近10次,小的每天都在进行。 白天的kilauea火山,就像蘑菇云一样。 到处都是冒烟的小火山口,逆着风向靠近,会明显有热桑拿的感觉。 夜晚的火山,红彤彤的。 晚餐其实是在去火山博物馆拍火山夜景之前吃的,这是同行的几个人,左侧的是导游兼司机,然后是西雅图夫妇,芝加哥姐妹。 回到hilton,已经是晚上10点多了。总体而言,岛虽不大,但确实生境多样。这一趟环游,很值!
个人分类: 动物研究|6671 次阅读|8 个评论
天才大爆炸(The Big Bang Theory)
热度 2 seawan 2011-2-19 17:34
最近看武老师 的 科学主题的滑稽表演 , 很有感触。里面说: “ 在英国,可能由于公众科学素养较高,主流电视频道、广播节目和舞台上都有科学主题的滑稽节目现身。” 想起来最近看的《天才大爆炸(The Big Bang Theory)》连续剧,觉得需要向大家推荐一下。 搜狐可以看的: http://tv.sohu.com/s2010/bigbang/ 我还整理了字幕: http://seawan.nyist.net/kle/sourcelist.php?volumeid=34 遗憾的是只演到第三季就game over了,可惜啊。。。
个人分类: 生活点滴|2990 次阅读|4 个评论
[转载]Top scientific advances of 2010 & big ideas in past 10
chrujun 2010-12-19 20:01
http://www.sciencemag.org/site/special/insights2010/ The 17 December 2010 issue of Science includes special sections highlighting the Breakthrough of the Year and Insights of the Decade Insights of the Decade Introduction Stepping Away From the Trees For a Look at the Forest by Science News Staff Science 's news staff takes a break from reporting to review some big ideas of the past 10 years and the technologies that made them possible. The Dark Genome Since the publication of the human genome sequence in 2001, scientists have found that the so-called junk DNA that lies between genes actually carries out many important functions. Precision Cosmology In the past decade, cosmologists have deduced a very precise recipe for the content of the universe, as well as instructions for putting it together, transforming cosmology from a largely qualitative endeavor to a precision science with a standard theory. Ancient DNA Scientists have been giving us new views of the prehistoric world in the past decade that hinge on the realization that biomolecules such as ancient DNA and collagen can survive for tens of thousands of years and give important information about long-dead plants, animals, and humans. Water on Mars The past decade's half-dozen martian missions have made it clear that early in Mars history, liquid water on or just inside the planet did indeed persist long enough to alter rock and, possibly, sustain the origin of life. Reprogramming Cells By prompting a cell to overexpress a few genes, researchers have discovered in the past decade how to turn a skin or blood cell into a pluripotent cell: one that has regained the potential to become any number of cells in the body. The Microbiome This past decade has seen a shift in how we see the microbes and viruses in and on our bodies, most of which are commensal and just call the human body home; collectively, they have come to be called the human microbiome. Exoplanets Data on the 500-and-counting planets discovered outside of our solar system in the past decade are revolutionizing researchers' understanding of how planetary systems form and evolve. Inflammation Over the past decade, it has become widely accepted that inflammation is a driving force behind chronic diseases that will kill nearly all of us: cancer, diabetes and obesity, Alzheimer's disease, and atherosclerosis. Metamaterials In the past decade, physicists and engineers pioneered new ways to guide and manipulate light, creating lenses that defy the fundamental limit on the resolution of an ordinary lens and even constructing cloaks that make an object invisible-sort of. Climate Change Research In the past few years, climate scientists finally agreed that the world is indeed warming, humans are behind it, and natural processes are unlikely to rein it in-just as they had suspected. Insights of the Decade For all checked items News For all checked items Select this article Introduction Stepping Away From the Trees For a Look at the Forest The News Staff 17 December 2010 : 1612 - 1613 . Science 's news staff takes a break from reporting to review some big ideas of the past 10 years and the technologies that made them possible. Summary Full Text Full Text (PDF) Select this article Shining a Light on the Genome's 'Dark Matter' Elizabeth Pennisi 17 December 2010 : 1614 . Since the publication of the human genome sequence in 2001, scientists have found that the so-called junk DNA that lies between genes actually carries out many important functions. Summary Full Text Full Text (PDF) Select this article A Recipe for the Cosmos Adrian Cho 17 December 2010 : 1615 . In the past decade, cosmologists have deduced a very precise recipe for the content of the universe, as well as instructions for putting it together, transforming cosmology from a largely qualitative endeavor to a precision science with a standard theory. Summary Full Text Full Text (PDF) Select this article Tiny Time Machines Revisit Ancient Life Ann Gibbons 17 December 2010 : 1616 . Scientists have been giving us new views of the prehistoric world in the past decade that hinge on the realization that biomolecules such as ancient DNA and collagen can survive for tens of thousands of years and give important information about long-dead plants, animals, and humans. Summary Full Text Full Text (PDF) Select this article A Roller-Coaster Plunge Into Martian Waterand Life? Richard A. Kerr 17 December 2010 : 1617 . The past decade's half-dozen martian missions have made it clear that early in Mars history, liquid water on or just inside the planet did indeed persist long enough to alter rock and, possibly, sustain the origin of life. Summary Full Text Full Text (PDF) Select this article Cells Rewrite Their Own Destiny Gretchen Vogel 17 December 2010 : 1618 . By prompting a cell to overexpress a few genes, researchers have discovered in the past decade how to turn a skin or blood cell into a pluripotent cell: one that has regained the potential to become any number of cells in the body. Summary Full Text Full Text (PDF) Select this article Body's Hardworking Microbes Get Some Overdue Respect Elizabeth Pennisi 17 December 2010 : 1619 . This past decade has seen a shift in how we see the microbes and viruses in and on our bodies, most of which are commensal and just call the human body home; collectively, they have come to be called the human microbiome. Summary Full Text Full Text (PDF) Select this article Alien Planets Hit the Commodities Market Yudhijit Bhattacharjee 17 December 2010 : 1620 . Data on the 500-and-counting planets discovered outside of our solar system in the past decade are revolutionizing researchers' understanding of how planetary systems form and evolve. Summary Full Text Full Text (PDF) Select this article Inflammation Bares a Dark Side Jennifer Couzin-Frankel 17 December 2010 : 1621 . Over the past decade, it has become widely accepted that inflammation is a driving force behind chronic diseases that will kill nearly all of us: cancer, diabetes and obesity, Alzheimer's disease, and atherosclerosis. Summary Full Text Full Text (PDF) Select this article Strange New Tricks With Light Robert F. Service and Adrian Cho 17 December 2010 : 1622 . In the past decade, physicists and engineers pioneered new ways to guide and manipulate light, creating lenses that defy the fundamental limit on the resolution of an ordinary lens and even constructing cloaks that make an object invisiblesort of. Summary Full Text Full Text (PDF) Select this article Climatologists Feel the Heat As Science Meets Politics Richard A. Kerr and Eli Kintisch 17 December 2010 : 1623 . In the past few years, climate scientists finally agreed that the world is indeed warming, humans are behind it, and natural processes are unlikely to rein it injust as they had suspected. Summary Full Text Full Text (PDF)
个人分类: 哲学与科学|4061 次阅读|0 个评论
[请教] 宇宙膨胀的加速度是多少?
热度 17 zlyang 2010-10-27 22:22
宇宙膨胀的加速度是多少? http://map.gsfc.nasa.gov/media/060915/index.html (1) 宇宙膨胀的原动力是什么?是暗能量吗?暗能量是一种物质吗? 暗能量是粒子形态为主,还是波动形态为主? 或者是新的形态? (2)宇宙大爆炸(Big Bang)的原动力是什么? zhulin 老师指点说:可能是H02r。 可是,宇宙的中心、大爆炸的奇点,现在都在那里? http://www.wired.com/images_blogs/wiredscience/2010/10/fermi-telescope-gamma-ray-nasa.jpg http://map.gsfc.nasa.gov/media/101080/101080_7yrFullSky_WMAP_1280W.png 今天没有时间了,以后陆续补充。 听说宇宙学已经进入精确时代, 发射了那么多探测器,总该有些定量的观察结果吧! 以下图片来自:博客李淼《再见, WMAP》 http://limiao.net/2162 WMAP PLANCK _________________________________________________________ http://marsparticipate.jpl.nasa.gov/msl/participate/sendyourname/?action=getcerthashid=FF1A0EDB26C600168A9E2F825AD02ED2 俺要去火星了。 蒋迅的博客 《参与名字上月球和名字上火星活动》 http://www.sciencetimes.com.cn/m/user_content.aspx?id=377856
个人分类: 人类的宇宙环境|26832 次阅读|57 个评论
How to have a great time in Hawaii (2): The Big Island
zuojun 2010-8-24 15:37
If you have never seen a live volcano before, as most Chinese have not, I would recommend you spend a day or two on the Big Island. The Island of Hawai i , also called the Big Island or Hawai i Island, is a volcanic island. If you only have limited time, say one day, you may want to land at the Kona Airport (on the west side of the island), go straight to the Volcanoes National Park , and return your rental car at the Hilo Airport (on the east side of the island, shorter drive). The rental car company may charge you extra $50 for dropping off at a different airport, but its totally worth it. I enjoy the long drive from Kona to the park. (If you really dont have time, then use the Hilo Airport for arrival and departure.) Plan your visit using the NPS website: Hawaii Volcanoes Natioal Park To watch the lava flow at night, you can stay at the Volcano House (closed until 2012), or in a nearby Volcano Village (outside the park where there are quite a few restaurants). There may be closed areas in the park: closed areas On the way from Kona to the Volcanoes Park, stop by the South Point , which is the southernmost point in the United States. You also dont want to miss the Punaluu Beach (also called Black Sand Beach), where you may see Green_turtles . There was a hot pond nearby, but I cannot remember its location without looking hard on a detailed map. If you have more time, instead of returning your rental car in Hilo, you drive from Hilo to the Mauna Kea Observatory off Route 200. Then through Waimea Valley in the northwest, you reach the west coast again and drive south to Kona. On the way, you may stop for a wonderful sunset.Getting to the observatory is not easy. I thought that I was well prepared, with a 4-wheel-drive jeep, but I didnt make it. Mauna Kea is the tallest, though not the highest, mountain in the world. This is because a significant part of the mountain is underwater. If Mauna Kea is measured from its oceanic base, it is over 10,000m (33,000 ft), significantly taller than Mount Everest , the highest peak above sea level.
个人分类: Uniquely Hawaii|3519 次阅读|2 个评论
美国人眼中的科学家——跟Synthon看美剧之二
Synthon 2010-5-6 14:32
美剧The Big Bang Theory是讲述一群加州理工学院的科学家的故事,通过这个故事,我们可以看到美国大众心目中科学家的形象。注意,该剧反映的不是美国科学家的形象,而是美国人眼中的科学家的形象。 我们先来看看剧中人物的基本资料在美国人眼里,这些人最有可能做科学家。 Rajesh Koothrappali,印度人,博士,天体物理学家。美国的科学家里面,移民占很大比重,而这其中,比重最大的又是印度人。所以Raj同学在这个剧里面有一个角色,不足为奇。 Howard Wolowitz,犹太人,麻省理工学院工程学硕士,宇航工程师。犹太人被认为是最聪明的族群,所以科学家里面当然也有一份子。当然他们通常也比较实际,所以Howard是剧中的科学家里头唯一一个硕士毕业就参加工作的。 Leonard Hofstadter,正常白人,博士,实验物理学家。在美国人眼里,正常人是不会做科学家的,除非他特别聪明。什么样的人特别聪明呢?除了外国人、犹太人之外,还有白人里面的一些稀有品种。所以,Leonard同学的姓,很稀有(其实这是个诺奖得主的姓氏)。 Shelton Cooper,正常白人,双博士,理论物理学家,剧中最聪明的人物。Shelton民族正常,姓氏普通,这样的人,在美国人眼里,怎么可能成为科学家呢?绝对不可能!如果有这种可能,那一定是他的基因发生了突变。于是,在导演笔下,Shelton就成了基因变异的产物,而他的双胞胎姐姐,以及他的家人,都是非常平庸甚至愚笨的人物。相反,Leonard这种稀有的姓氏,就全家都是科学家。 看来,美国人应该好好学习一下陈胜吴广的名言:王侯将相,宁有种乎?
个人分类: 生活点滴|8224 次阅读|5 个评论
[转载]转帖:Denmark is a big shame. 发生在丹麦大屠杀。。。
tongmeng 2010-4-15 10:19
2010-04-15 10:15 丹麥真是羞恥!Denmark is a big shame 這是我收到的電郵, 用血用淚, 向最無恥的人類作出控訴! 人類為了自己, 幹下什麼醜惡的事, 請看吧! (兒童不宜) Denmark is a big shame The sea is stained in red and in the mean while its not because of the climate effects of nature. 丹麥真是羞恥! 海水染成紅色,但不是大自然的天氣所造成! It's because of the cruelty that the human beings (civilised human) kill hundreds of the famous and intelligent Calderon dolphins. 這是因為人類 (有文化的人類) 的凶殘,殺害了數以百計出名和有智慧的卡爾德薩海豚所致。 This happens every year in Feroe island in Denmark . In this slaughter the main participants are young teens. WHY? To show that they are adults and mature.... BULLLLsh 每年在丹麥法羅群島都有此事發生,主要參與殺戮的都是十多歲的年青人。為何如此?因為要顯示他們是成年人和成熟了....哎..... In this big celebration, nothing is missing for the fun. Everyone is participating in one way or the other, killing or looking at the cruelty supporting like a spectator 在這盛大慶祝活動中,沒有一樣不是樂趣,每個人都以某種或其它方式參與,殺死或觀看殘暴,「像觀眾般支持」。 Is it necessary to mention that the dolphin calderon, like all the other species of dolphins, it's near instinction and they get near men to play and interact. In a way of PURE friendship 值得一提的是,卡爾德薩海豚就像其海豚品種一樣,接近滅種消失。牠們親近人類,一起玩樂,和人交往,是純真友誼的表現。 They don't die instantly; they are cut 1, 2 or 3 times with thick hocks. And at that time the dolphins produce a grim extremely compatible with the cry of a new born child. 牠們沒有立即死去。牠們被繩 割插1, 2 或3次,這時,海豚發出慘叫,猶如新生嬰兒的叫聲。 But he suffers and there's no compassion till this sweet being slowly dies in its own blood 牠們一路受苦,而沒得到任何憐憫,直至因流血而慢慢死去。 Its enough! We will send this mail until this email arrives in any association defending the animals, we won't only read. That would make us accomplices, viewers. 夠了! 我們不單閱讀,還會發出電郵,直至抵達一些組織,可以保護這些動物,各位讀者,這樣才能令我們成功。 Take care of the world, it is your home! 愛護世界,這是你家!
个人分类: 禅与生活|3741 次阅读|1 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 15:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部