华尔街物理:不可预测性预测简史 James Owen Weatherall - The Physics of Wall Street: A Brief History of Predicting the Unpredictable Published: 2013-01-02 | ISBN: 0547317271 | 304 pa After the economic meltdown of 2008, Warren Buffett famously warned, “beware of geeks bearing formulas.” But as James Weatherall demonstrates, not all geeks are created equal. While many of the mathematicians and software engineers on Wall Street failed when their abstractions turned ugly in practice, a special breed of physicists has a much deeper history of revolutionizing finance. Taking us from fin-de-siècle Paris to Rat Pack-era Las Vegas, from wartime government labs to Yippie communes on the Pacific coast, Weatherall shows how physicists successfully brought their science to bear on some of the thorniest problems in economics, from options pricing to bubbles. The crisis was partly a failure of mathematical modeling. But even more, it was a failure of some very sophisticated financial institutions to think like physicists. Models—whether in science or finance—have limitations; they break down under certain conditions. And in 2008, sophisticated models fell into the hands of people who didn’t understand their purpose, and didn’t care. It was a catastrophic misuse of science. The solution, however, is not to give up on models; it's to make them better. Weatherall reveals the people and ideas on the cusp of a new era in finance. We see a geophysicist use a model designed for earthquakes to predict a massive stock market crash. We discover a physicist-run hedge fund that earned 2,478.6% over the course of the 1990s. And we see how an obscure idea from quantum theory might soon be used to create a far more accurate Consumer Price Index. Both persuasive and accessible, The Physics of Wall Street is riveting history that will change how we think about our economic future.
美国的 Wired 杂志最近发表一篇文章“ Raging Bulls: How Wall Street Got Addicted to Light-Speed Trading ”,讲述华尔街掉进钱眼里的交易商们如何沉迷于光速交易,从而一方面从现有光速受限的通信技术中充分挖潜,最大限度地提高信息的传输速度,另一方面将目光投向“超光速”的中微子,期待超光速通信。 文章说,在每秒进行成百上千甚至成千上万次交易的高频交易( high-frequency trading )中,交易商利用转瞬即逝的微小股票价格差异赚钱,这种差异由计算机算法识别,并由自动交易程序执行。随着交易频次的提高,信息的传输和处理速度也必须提高。华尔街已到了这样一个节骨眼上 —— 随着交易频率越来越高,闪电般的损失接踵而至,得失只在一瞬间,可以说,在高频交易中,毫秒级的信息时延都很要命!所以,华尔街的交易商要想挣钱、挣大钱,只有仰仗高速大容量通信技术传输信息、快速计算机进行计算以及高明数据分析师设计算法。通信速度决定了交易商的命运! 众所周知,目前的通信技术,无论是有线通信(如光纤通信)还是无线通信,都以光速传递信息,这已是爱因斯坦狭义相对论框死的极限速度。华尔街的交易商们也还懂得另一个常识:两点之间直线距离最短,在速度一定的情况下,让信息沿直线传输,耗时最短,这相当于提高了两点之间的信息传递速度。今天,地球上几乎任何两个大城市间都有光纤光缆相连,但这些光纤光缆都不是按交易商们的要求沿直线铺设的,它们像高速公路那样蜿蜒曲折。华尔街的交易商们不能容忍这些拐弯抹角的信息拖延,决定截弯取直,自建直线传输的通信线路。例如, McKay Brothers 公司(其竞争对手 Tradeworx 随后也很快跟上)建立了一连串的无线电发射塔,用来在纽约的证券交易所和芝加哥的期货市场之间传递金融信息,这些无线电发射塔沿接近一个理想的大圆弧路径(地球是圆的)传输信息,相对于连接这两个城市的光纤光缆来说,一个来回可节省大约 5 毫秒时间。 5 毫秒, 5/1000 秒,远低于眨眼工夫( 0.2 ~ 0.4 秒),但它就是金钱,就是生命! 在追求市场跳动回报的过程中,发送一个超光速信号可以提供压倒性的优势:一种事后的交易方式,金融上相当于对一场已完成的赛马进行投注。所以,突破现有光速受限通信技术的“超光速”通信是华尔街交易商们梦寐以求的。由此可以想见, 2011 年物理学家发布“中微子超光速”消息后,最开心的可能是华尔街的交易商,而当这条消息时隔 6 个月又被收回后,最沮丧的也是华尔街的交易商。不过,华尔街的交易商对中微子并没有绝望。还是基于两点之间直线距离最短,华尔街的交易商依然热爱中微子,因为中微子可以直透地球,所以利用中微子束并对其进行调制可以在地球上任意两点(例如从南极到北极)进行直线通信,无需昂贵而复杂的高空卫星或 / 和地面微波站,使通信不仅更快速而且更经济。尽管这还是一项停留在物理层面的非常不靠谱的“技术”,但华尔街依然郑重决定:购买中微子! 科技进步要靠需求推动或牵引。在这个日益功利化的世界,好奇心驱动的基础研究日趋寒碜萎缩,向有钱又想挣钱、挣大钱、挣轻松钱、持续不断地挣钱的所谓掉进钱眼里的人忽悠点需求出来,不失为一条活命乃至飞黄腾达之路。科学家要放下清高,不要鄙视铜板,更不要鄙视掉进铜板眼里的人,他们是推动科技进步的一支重要力量。 References 1. JERRY ADLER, “ Raging Bulls: How Wall Street Got Addicted to Light-Speed Trading ”, wired, 2012-08-03. 2. Charles Day, Buy neutrinos! Physics Today, 2012-08-30. McKay Brothers uses 20 microwave towers — this one is 215 feet tall — to relay messages between market data centers in New Jersey and the Chicago Mercantile Exchange in just 4.5 milliseconds. Photo: ...
【本博注】一个从生物学常识就能判断出来,明显违背自然规律,反科学,反人类,反自然,反社会的转基因技术,何以在中国失控?种植转基因作物需要专门的庇护场所,本身就说明这个技术是不安全的;一方面往天然食品里转基因,一方面又加强转基因食品的检测,将其与有害食品并列,本身就说明这类食品是不放心的垃圾食品;一方面自己鼓动别人吃转基因食品,一方面自己偷偷吃特供的有机食品,这不正说明了转基因科学家从不相信自己生产的食品是安全的。天下最荒唐的事情莫过于发一张纸就说明转基因是安全的,或者干脆闭着眼睛说转基因是安全的,比天然食品还安全。 然而,无情的事实是,转基因利益集团及其豢养的科学家的谎言被一次次戳破。这不,美国华尔街又传来对转基因的愤怒喊打声。 对于这些关系每一个人生命安全的大事,中国主流媒体为什么不报道呢? 占领华尔街运动示威者反对转基因食品游行集会 99%的人反对转基因食品 视频地址 http://bbs.mshw.org/forum.php?mod=viewthreadtid=26113fromuid=2891 99-percentersprotest genetically modified foods 99%的人反对转基因食品 US 99-Percenters have taken to the streets in New York to demand moregovernment regulations on food and water,Press TV reports. Press TV报道:占领运动示威者要求政府提供更多的食品和水。 Protesters criticized companies that alter the genetic making of foods such asMonsanto. 抗议者批评那些改变食物遗传性状的公司,如孟山都。 Monsanto is a corporate giant that makes genetically modified seeds for foodslike corn and soybeans, making them more able to survive pesticides. 孟山都是一个为了销售具有相应抗性的农药而生产如转基因玉米和转基因大豆种子的食品公司巨头. “They have done four-generation studies on hamsters, and after eating GMOs forfour generations, all the hamsters go sterile, their teeth grow out of theirjaws and their jaws lock shut,” a protester said, adding that other studies hadpointed to liver and other organ failures. 一名抗议者说:“他们已经在无菌条件下做了四代用转基因食品喂养仓鼠的实验,他们的牙齿生长出他们的颌骨,而且颌骨锁定关闭。 Among genetically modified foods protesters were warned to avoid are Tofu andany of the many foods containing corn syrup or high fructose corn syrup. 抗议者提醒人们应避免食用豆腐和许多含有高果糖、玉米糖浆的食品,这些都是转基因食品。 Some protesters were also spreading word about the privatization of thecountry’s water supply. 一些示威者还散发有关反对国家的供水系统私有化的材料。 “If people knew nationally, that our water was being stolen by three topcompanies, Nestle, Coke, and Pepsi, owning 70 percent of the world’s water, Ithink they would be upset. But I just don’t think they understand that.” 如果人们知道我们国家的水被雀巢、可口可乐、百事可乐这三个顶级公司偷走,他们拥有世界水资源的70%。那么他们将被消灭。但是我想他们现在还不知道。 The Occupy movement owes its inspiration to the Occupy Wall Street (OWS) protests,which began when a group of demonstrators gathered in New York's financialdistrict on September 17, 2011 to protest against the excessive influence ofbig corporations on the US policies and the high-level corruption in thecountry. 这个占领运动灵感来源于从2011年9月17日开始在纽约金融区发起的那场声势浩大旨在抗议大企业严重影响美国政府政策和严重的国内腐败现象的占领华尔街运动(OWS)。 【感谢翻译此文的无名网友。】
Columbia University recently announced plans to offer a course next semester in which students can study and participate in the movement. The class will be offered through the anthropology department and will be taught by Dr. Hannah Appel, a veteran of the movement. It is called “Occupy the Field: Global Finance, Inequality, Social Movement.” Upperclassmen and graduate students will be able to take the class. “Class requirements will be divided between seminar at Columbia and fieldwork in and around the Occupy movement,” according to the class syllabus. “In addition to scheduled seminar , this class will meet off-campus several times, and students will be expected to be involved in ongoing OWS projects outside of class, to be developed in close conversation with the instructor.” Could this type of class be dangerous for the students who will be involved in it? Appel thinks not. “As a regular participant in the Occupy movement… I can say with absolute certainty that there is no foreseeable risk in teaching this as a field-based class,” she said. She also encourages students not to break the law when they are conducting their fieldwork though, because then there could be problems http://www.eduinreview.com/blog/2012/01/columbia-university-offers-course-allowing-students-to-participate-in-occupy-wall-street/
1996年11月来到B城,发现自己是公司的第二号员工。第一号是一位富有经验的瑞典籍的软件工程师,为人朴实,是很好的合作伙伴。印度女老板是大学教授,很有修养和风度,待人热情和气。当时正赶上美国网络热潮,股市狂涨,高科技项目成为宠儿。网络泡沫最盛的时候,总使我想起国内的大跃进。不怕做不到,就怕想不到。各种概念型公司如雨后春笋,只要有个主意,加上三寸不烂之舌,就有可能弄到钱。然后就是大把地烧钱,不需要有真正意义上的产品,不需要顾客,也不需要盈利,只要你能吸引眼球,在这个所谓注意力经济的年代,你就被认为有了潜力,在风险投资家精心策划的媒体抄作后,股票上市就会身价百倍。在这样的美国式大跃进的环境下,一个项目如果确实有点技术含量和后劲,就更加被追捧,跟我们自然语言技术有关联的askjeeves.com 的迅速窜红就是一个典型例子。 AskJeeves声称可以回答用户用英语提问的各种问题,IPO后股票一路上扬,成为大红大紫的华尔街宠儿。我认真研究了他们的做法,发现他们技术含量并不高,只用了一点粗浅的自然语言技术,对英语问句做自动分析,而网络文本是大头,那方面基本没有自然语言的应用。他们的聪明之处是以不变应万变,把千变万化的用户问句归类到相关的预先设置好的问题模板,再由用户点击选择,这样就保证了对用户问题的确认。至于答案,他们采用人海战术,雇佣了几百个分析员,收集常见问题和热点,更新问题模板,手工录入存在答案的链接。AskJeeves的成功为自然语言技术扬了名,为我们后来者开辟了道路。 当年我们运用自然语言和信息提取技术,研制了一个自然语言问答系统的雏形(prototype),在美国国家标准局比赛中获奖。该系统可以回答一些简单的问题,诸如:“谁是1995年物理诺贝尔奖获得者”,“中国哪一年加入联合国”,等等。这一新的研究开发方向,被广泛认为是下一代智能搜索引擎的希望所在,在工业界和投资界引起狂热。当时我们想注册一个跟ask/question有关的域名,凡是我们能想到的,比如 answer.com, exact-answer.com, this-is-answer.com, 1-800-question.com, etc. 几乎全部被人抢先注册了。在这样的形势下,寻找风险投资不仅是诱惑,而是势在必行。 老板联系上一位华尔街投资家。这层关系刚接通,老板就让我尽快给这位投资家提供我们系统的架构图和系统简介。我手头有一张为了写政府项目最后报告而准备的架构图,前后修改了不下十遍了。可是,投资人不是技术人员,所以我必须做进一步修饰,深入浅出,力图给人一种技术艰深,而用途广泛的印象。我的苦心没有白费,我早上送出材料,中午就收到回音,请我们尽速去纽约面谈投资合作事宜。后来,投资人告诉我们,这是他见到的最激动人心的项目之一,我画的那张架构图,经过他们进一步润饰,后来在华尔街投资人中间反响很大,被誉为 million-dollar slide,我们后来的主要投资人跟我说:“I love it, I just love it”。一幅好的图画胜过文字千行,我是亲身经历了这种威力。( 前知识图谱钩沉: 信息抽取引擎的架构 ) 于是,老板跟我动身去华尔街,拜访Park Ave豪华公寓的主人,我们的投资联络人。这位投资人早年是物理博士出身,自称其师是诺贝尔奖获得者。他现在是华尔街的亿万富翁,已经成功地把30家左右的创业公司推向IPO,早已赚得钵满盆盈。Park Ave. 是纽约华尔街不远处的著名高档住宅区,濒临中央公园,这条街上住满了银行家和金融大亨,也有一些影视娱乐出版界的名人。这是我第一次走进亿万富翁的家,这个家占据了一层楼,从外面看并不很起眼。内部却极尽奢华,到处点缀着艺术收藏品。有两个佣人在默默收拾和擦洗。女主人很热情,招呼我们坐下,让佣人给我们预备早餐,她告诉我们她丈夫每天看材料,谈项目,总是工作到后半夜,现在尚未起床。餐后,投资家已经起来了,出来跟我们握手寒暄,留下一些需要我们填写背景资料的表格。他自己却走进房间,去做他每日必做的半小时晨功,念经似的朗朗有声。我不懂这是什么功,还是什么宗教仪式,只是觉得有点滑稽,不过在他这样紧张惊险的生涯里,这样的晨功应该是有益的精神调剂。 他后来跟我们谈了两个小时,可以看出在见我们前,他已经做了一些专业背景调研,问了一些技术问题,特别要求我们详述我们的技术和AskJeeves技术的异同。当他确认了他原先的猜想,AskJeeves 的技术含量只相当于我们所做的一个部分以后,当即拍板,由他个人先给天使基金100万(所谓天使投资是风险投资的最早期,天使投资家冒险最大,但投资得当,回报也最高),三个月后帮助我们寻找第一期投资。他对我们信心十足,说是他经手的公司之中第二个最有希望的(此前他还有一家特别中意的公司,跟AskJeeves类似,早已红透半边天)。 拿到天使基金的这三个月,我们做了两件大事,首先是把我们的系统和PDA无线连接上,这样就可以现场展示通过象手机一样的PDA向系统用英语提问,并立即得到系统的答复,这在当时对于投资人有震撼性的效果。另一项工作,是跟天使投资人紧密合作,数月磨一剑,精益求精,撰写设想如何赚钱的生意计划书(business plan),并在此基础上制作寻找投资的幻灯片。要想给投资人好印象,开始阶段用文字是没有用的,他们根本没有时间和兴致研究什么深奥的技术。所以,幻灯片要做得明白易懂,图示要简洁有力,需要有广告式的夸张,要的就是wow的效果。其实,在这个圈子里,大家都在夸张,推销自己,所以,投资人已经习惯对听到的夸张之词本能地打个折扣。对于不熟此道的技术人员,即便手头有很好的项目,不能有效地推销自己,也很难引起注意。我们很幸运,一开始就找到了独具慧眼,又谙熟华尔街之道的天使投资人。 三个月后,二闯华尔街。我身背一个死沉的膝式电脑,随时准备现场展示我们的问答系统,老板口才很好,负责向投资家利用幻灯片介绍我们的技术和商业前景。天使投资人不放心,要求老板事先多次演练,确保最佳效果。我也几乎一夜没睡,测试系统。说句老实话,我对现场演示很担心,因为当时的系统对于任意的一个问题,即便档案里面有答案,也只有70%左右的机会可以找出来。这个压力很大,因为只能成功,不能失败。投资人相信的是直觉,一旦测试失败,再怎么解释也很难挽回印象。何况他们也少有耐心,一般也就测试两三个问题,基本上是一锤子买卖。因为无法预料他们会测试什么问题,所以实际上只能听天由命。我就是这样胆战心惊地走进华尔街投资公司的大门。到系统演示时,我先介绍我们的资料库存的是以前的新闻存档,并演示了一个预先测试过的问题和系统答案。投资商中有一个看到我们的新闻存档包含有尼克松访华事件,于是提问道:“When did Mao meet Nixon?”,我录入问题后,系统立即显示如下答案和文句: Answer: February 21, 1972 On February 21, 1972, President Nixon went to China to meet with Communist Party Chairman Mao Zedong and hold discussions with PRC Premier Zhou Enlai. 投资人的震惊可想而知,他们知道 Yahoo 和 Google 是无能为力的,就是AskJeeves也只能显示比较准确的链接,难以给出精确答案。我们趁热打铁,把 PDA 拿出来,请他们自己现场输入问题,通过无线连接我们在水牛城的服务器,其中一个问题是 “how to make chocolate chip cookie?” 这个问题其实超出了系统设计的范围,因为所问不是时间、地点、人名和机构名之类的实体,而是一种方法和配方,在自然语言中的表述形式往往很长,难以把握。幸运的是,存档里面刚好有一段提到制造巧克力cookie的技巧,系统因为无法断定什么是答案,就干脆把最相关的那个段落给提取出来,居然获得喝彩。 过了这一关,投资人的胃口已经给吊起来了,我们掌握了讨价还价的主动权。当然还要经过一系列手续,包括所谓 due diligence, 由投资人聘请资深专业人士对我们的技术做出鉴定,以减少投资失误。然后是双方律师的很烦琐的 paper work,最后终于达成协议,成功引进1000万美元的风险投资。 鉴于我对公司技术发展和资金引进的贡献,老板在引入风险投资前夕任命我为研究开发副总裁,就这样我阴错阳差成为公司第一位,也是在位最久的高级主管。这是我三年前来美创业时从来没有想到过的。 记于2006年六月二十四日 【相关】 《朝华午拾:用人之道》 《朝华午拾 - 水牛风云》 《朝华午拾:知识图谱的先行》 前知识图谱钩沉: 信息抽取引擎的架构 ~~~~~~~~ 创业九年祭 (60160) Posted by: liwei999 Date: February 24, 2007 01:43AM 今天收到消息,说Cymfony明天正式出售给英国一家大公司,售价不足以收回投资(不包括政府的近千万投资)。终于运行近10年的公司有个不算最糟的了断。我的股权比水漂还不如。 想想高科技公司也不容易。现在经济形势比较好,尚可以卖个价钱,不至于血本无归,形势不好的话,连买家也找不到。 Cymfony 将成为历史名词。 此祭。 【置顶:立委科学网博客NLP博文一览(定期更新版)】