You cannot be certain about uncertainty. ——Frank Knight 人本能上是追求确定性的。确定性有助于人们理解和把握事物变化的规律、提高预测和判断未来发展的可靠性。而在现实世界中，许多事物的发展都具有不确定性：有些不确定性是来自事物本身，另一些则是由于外在影响因素过多。对这些不确定事物作完全精确的预测并不现实可行。 不确定性会给人们带来困扰和不安，也会给人们带来挑战和乐趣。人类早期对不确定性的分析和讨论大多与赌博、掷骰子等随机游戏紧密相关。据文字记载，两河流域的西亚人几千年前就已使用距骨、植物等原始材料来制作骰子进行娱乐。古埃及人则利用投骰子来玩一种“猎犬和豺狼”（类似于现代的“蛇与梯子”）的游戏。 图1 13世纪的“猎犬和豺狼”游戏棋 吉罗拉莫·卡尔达诺（Girolamo Cardano）是文艺复兴时期意大利百科全书式的学者，在西方最早给出了二项式系数和二项式定理。据传，卡尔达诺年轻时对赌博情有独钟，他经常欠债，却又总能通过赌博或下棋来偿还债务。卡尔达诺借助掷骰子来理解不确定性和概率，并使用发生比（odds）来刻画赌博中有利或不利情形出现的可能性，以对赌博结果进行预测。卡尔达诺1564年前后完成的《论赌博游戏》(Liber de ludo aleae)一书是首部概率论著作，他对概率论有开创之功，被视为概率论的创始人。 17世纪，赌博游戏在欧洲宫廷盛行。法国赌徒谢瓦利埃·梅内（Chevalier de Méré）在赌资分配上同他人产生了分歧，于是他向数学家布莱士·帕斯卡（Blaise Pascal）请教。1654年，帕斯卡与皮埃尔·费马（Pierre de Fermat）讨论了赌博中的点数分配问题，将期望的想法引入到推理和计算。在帕斯卡的鼓励下，荷兰数学家克里斯蒂安·惠更斯（Christiaan Huygens）深入分析了点数分配等博弈游戏，明确了期望的概念。1657年，惠更斯将研究结果总结成文《论赌博中的计算》(De ratiociniis in ludo aleae)，作为弗兰斯·斯霍滕（Frans van Schooten）《数学练习》附录的形式出版。该文得到了学术界的广泛认可，在欧洲多次再版,并作为概率论的标准教材达50年之久。 《猜度术》(Ars conjectandi)是概率论发展史中的另一部经典著作，由瑞士数学家雅各布·伯努利（Jakob I. Bernoulli）完成。该书既包含伯努利对前人工作的总结和整理，也包含他自己对概率的哲学思考。伯努利认为，概率作为事件确定性的量度并非是先验已知的，而必须由后验确定。基于这种看法，伯努利给出了大数定律的最早描述，认为事件的概率可以由大量独立的同类型随机试验的频率统计来刻画。因此，人们朴素的认知经验可以用数学语言来表达。1837年,法国数学家西莫恩·泊松（Siméon D. Poisson）在《关于犯罪和民事判决的概率之研究》（Recherches sur la probabilité des jugements en matières criminelles et matière civile）一文中介绍了单位时间内随机事件发生次数的概率分布——泊松分布，并借此将“大数定律”推广到随机事件发生的概率可以不同的情形。大数定律奠定了“由频率估概率”的理论基础，为不确定事件的参数估计提供了支持。 图2 《猜度术》 为了快速计算二项式展开系数，法国数学家亚伯拉罕·棣莫弗（Abraham de Moivre）借鉴级数和微积分的方法定义了斯特林公式，用于计算概率论中常用的n!。在此基础上，棣莫弗发现了中心极限定理的一个特例：他在《机遇论》(De Mensura Sortis seu)第二版中介绍了使用“正态分布”来逼近抛硬币正面向上的频率，实现了二项式展开中间项系数的近似表示。 1801年，德国数学家约翰·高斯（Johann K. F. Gauß）结合观测数据，使用最小二乘法等计算方法发现了谷神星的运行轨迹。随后，高斯专注于曲面、曲线计算：在假定观测值的算术平均值具有最大可能性这一前提下，他采用最小二乘法成功得到用于刻画误差的高斯钟形曲线（即正态分布曲线）。高斯认为，如果观测误差符合正态分布，那么采用最小二乘估计算出的回归系数具有最大的可能性。 图3 约翰•卡尔•弗里德里希•高斯 在棣莫佛和高斯工作的基础上，法国天文学家、数学家皮埃尔-西蒙·拉普拉斯（Pierre-Simon marquis de Laplace）扩展了棣莫弗的理论，他证明了可使用正态分布近似计算二项分布（这一结论后来被称为棣莫佛－拉普拉斯中心极限定理）。1901年，俄国数学家亚历山大·里雅普诺夫（Aleksandr M. Lyapunov）使用随机变量严格地证明了中心极限定理。中心极限定理被认为是概率论最重要的定理之一，为人们认识误差、开展统计分析提供了理论支持，而正态分布也因其具备良好的数学特性而广泛应用于误差估计。 随着数学公理化进程的加速，俄国数学家安德雷·柯尔莫哥洛夫（Andrey N. Kolmogorov）将样本空间和测度理论结合起来，于1933年在《概率论基础》（Foundations of the Theory of Probability）一书中首次较完整地建立了概率理论的公理体系。该体系为不确定问题的严格分析提供了统一的框架。人们能基于具体概率假设，通过严格的逻辑推理或数学计算获得特定随机变量的数学特性，进而实现对不确定问题的分析和预测。 概率论能够帮助人们在概率假设的基础上实现对不确定事件的分析和预测，但要获得对事件的基本认识还需要使用多种统计方法。 统计学是数学的另一个分支，它通过收集、整理、解释和分析数据，帮助人们实现对事件特性、规律的正确判断。古希腊思想家修昔底德（Thucydides）在《伯罗奔尼撒战争史》(History of the Peloponnesian War)一书中记述了公元前5世纪雅典人通过派士兵统计斯巴达城墙砖块的数量来评估斯巴达城墙高度这一事件。中世纪，阿拉伯哲学和自然科学家艾•肯迪（Al Kindi）使用频率统计的方法破译了加密消息。1662年，约翰·葛兰特（John Graunt）和威廉·配第（William Petty）将统计方法应用于人口普查。1710年，约翰·阿布斯诺特（John Arbuthnot）将统计推断用于伦敦地区新生儿的性别调查，这也是假设检验方法首次被用于统计分析。 图4 Al Kindi基于统计的密文破译 随着概率理论的不断完善，统计学也向着更科学的方向发展。英国统计学家弗朗西斯·高尔顿（Francis Galton）和卡尔·皮尔逊（Karl Pearson）被认为是现代数理统计的主要创始人：高尔顿提出标准差、相关性、回归分析等概念，并将相关统计方法应用于人类心理特征的研究；皮尔逊则发展了回归分析和相关性理论，他提出了用于曲线总体参数估计的矩估计法。1900年，皮尔逊又提出了著名的卡方假设检验，用于检测随机变量的分布类别和独立性。此后，英国统计学家威廉·戈塞（William S. Gosset）提出了学生t-分布假设检验，解决了未知方差的小样本分布的参数估计问题；英国统计学家罗纳德·费希尔（Ronald A. Fisher）在方差分析的基础上完善了极大似然估计，提出了基于F分布的假设检验方法。 假设检验是一种重要的统计推断方法。它从假设出发，根据随机变量的统计特征推断假设的可靠性。假设检验是一种基于不确定性的显著性差异判断，其推断基础并非逻辑推理中的排他律，而是假定小概率事件在一次实验观测中不可能发生。这一推断假定使得人们能够以较小的成本和较低的风险开展数据推断。1930年前后，埃贡·皮尔逊（Egon Pearson）与耶日·内曼（Jerzy Neyman）系统地分析了假设检验方法，他们认为假设检验会存在两类错误：第一类是“以真为假”，即检验假设H0真实成立，但统计推断却认为H0不成立；第二类是“以假为真”，即检验假设H0并不成立，但统计推断却判定H0成立。为此，人们往往会采用一致最大功效(UMP)检验、无偏性检验、似然比检验等方法降低两类错误出现的可能性。 现代统计学已被广泛用于各种决策领域，它与概率论一起已成为众多学科实验数据分析的基础。随着大数据和深度学习技术与方法的快速发展，概率论和数理统计受到越来越广泛的关注，并已被用来解决聚类、关联分析、异常检测、特征学习等诸多问题。人工智能的研究正在并将进一步深化，概率论和数理统计对以数据采集为基础的新兴学科的发展势必产生深远影响。 概率论和数理统计所依据的基本原理与核心思想是什么？它们如何在迅速崛起的数据与智能学科中扮演无可替代的角色？能够规避概率和统计不确定性所蕴藏的风险吗？对这些问题感兴趣的读者,请关注“不确定性与统计推断（下）”。 （北京林业大学 蒋东辰） 来源： 阿狗数学AlgoMath
Cook在介绍千禧年难题“The P versus NP Problem”［1］时说： －The P versus NP problem is to determine whether every language accepted by some nondeterministic algorithm in polynomial time is also accepted by some (deterministic) algorithm in polynomial time. 这就是NP完备理论中P和NP的形式化定义：P是图灵机（TM）接受的语言类；NP不确定性图灵机（NDTM）接受的语言类。 对于这种定义，Garey、Johnson在其书“Computer and intractability”［2］中简单解释到（p.18,19, 20）： As a matter of convenience, the theory of NP-completeness is designed to be applied only to decision problems. The reason for the restriction to decision problem is that they have a very natural, formal counterpart, which is a suitable object to study in a mathematically precise theory of computation. This counterpart is called a language and is defined in the following way. 其实之所以将NP作为“decision problem”研究，并非简单的“As a matter of convenience（为方便起见）”，而是有深刻的哲学背景，就 形式化方法 研究 而言，可借助于称之为“language（语言）”的概念，将 “decision problem” 与集合论产生联系。 本文与博文 认知云里说NP 互补，从集合论的角度再说NP，进一步揭示NP的流行定义中“不确定性”的消失，阐释NP的本质。 一，集合、问题与问题求解 集合论被认为是近代数学的基础，指以“集合”为基本概念，形式化地定义数学对象加以研究。集合者，将一些对象汇集而成的整体，构成集合的对象称为“元素”，元素与集合的“所属关系”定义一个集合。 于是，从集合论的观点，可以形式化定义“问题”及“问题求解”。“问题”指“所有实例的集合”，“语言”指“所有存在解的实例的集合”，“问题求解”指以“算法”为工具判断任何一个实例是否属于“语言”这个集合。“算法”被形式化表达为“图灵机”，“问题”则被表达为“判定问题（decision problem）”。 比如，SAT问题指所有的合取范式的集合，SAT问题的“语言”指所有可满足的合取范式的集合，记作：SAT＝｛所有可满足的合取范式｝。求解SAT问题就是指用算法来判断任何一个合取范式w是否属于SAT，若w属于SAT，则w是可满足；否则w是不可满足的。 二，图灵机接受的语言，P与NP 从集合的角度，如果图灵机能判断任何一个实例是否有“解”，就意味着定义了“语言”这个集合，也就是求解了对应的“问题”，在此意义下，称此问题是“图灵机接受的语言”，由此来定义P和NP。 图灵机是通过“计算”来“判断”的，即任给一个实例w，若图灵机计算得到一个解，则回答“yes”，说明w有解，图灵机“接受”w；若图灵机计算得不到解，则回答“no”，说明w无解，图灵机“拒绝”w。 显然P问题是图灵机接受的语言，即可确定性求解的问题，计算复杂性理论中由“多项式时间”（Polynomial time，P）来表达。 对于NP问题，图灵机的计算实际上是“猜测＋验证”：任给一个实例w，图灵机只能在多项式时间“猜测”出一个候选解c，并能在多项式时间“验证”c，若验证回答“yes”，则c是w的“解”，图灵机“接受”w。然而这里的关键是，若验证回答“no”，只能说明c不是w的“解”，却不能由此判断w没有“解”，也就是说，w可能有解也可能无解，故“no”的判断是“不确定的”，因此图灵机还不能“拒绝”w，需要继续搜索，这样就又回到了原问题，如此图灵机可能永远不停机，就是说，真正的NP是下面图示中下方那个无穷追索，永不返回的“no”的路径。所以，图灵机对NP问题的判断具有“不确定性”，即“NP不是图灵机接受的语言”，也就是说，NP是“不可判定（undecidable）”的，这才是NP的本质！ 然而，在NP完备理论中，却把代表NP的本质的“不确定性”的判断“no”与“确定性”的“拒绝”混淆了［2］： The computation ceases when and if the finite state control enters one of the two halt states (either qY or qN ) and is said to be an accepting computation if it halts in state qY . All other computations, halting or not, are classed together simply as non-accepting computations. 然后将上述错误解释判断“no”的图灵机的计算模式，谓之“不确定性图灵机（NonDeterministic Turing Machine, NDTM）”，将NP问题定义为“不确定性图灵机接受的语言”。 三，NP的流行定义与“不确定性”的消失 由此，NP的流行定义对“NP”的权威解释就是“不确定性多项式时间”（Nondeterministic Polynomial time），指存在多个“多项式时间”因而具有“多选择”，但这等于说，（事先）肯定（至少一个）多项式时间存在，所以NDTM只不过是在多项式时间内搜索得到一个确定性的回答，也就是说，NDTM与TM等价［3］，由此得出“NP是可计算的，可判定的”，这正是现有的NDTM这个概念的实质。 进一步，又把“解的确定性验证”作为NP的标准定义，即所谓的“可验证定义”，是有NP二个定义等价之说。然而从集合的角度，可以清楚看到，“解的确定性验证”是典型的P问题！ 所以，无论是用“不确定性多项式时间的多选择”还是“解的确定性验证”来定义NP，都是暗中肯定NP＝P，源于回避上述图灵机判断的“不确定性”，其结果是NP的“不确定性”本质从现有的NP完备理论中彻底消失，“P versus NP”遂成悖论，是有千禧年难题（ 《紐約客》科普“P versus NP”（MAY 2, 2013） ），。。。 四，“不确定性”与Entscheidungsproblem 我们的NP理论工作就是致力于寻找消失了的NP本质－“不确定性”。实际上，“不确定性”与图灵1936年论文对“Entscheidungsproblem（判定问题）”的研究密切相关，这也就是我们为什么要追本溯源重新解读图灵1936年的论文的根本原因。 参考文献： ［1］Stephen Cook,ThePversusNPProblem.ClayMathematicsInstitute. http://www.claymath.org/millennium/P vs NP/pvsnp.pdf . ［2］Michael R. Garey, David S. Johnson, Computers and Intractability: A Guide to the Theory of NP-Completeness. W. H. Freeman and company (1979). ［3］ Michael Sipser, Introduction to the Theory of Computation, Second Edition. International. Edition (2006).
克莱因的书“数学：确定性的消失”（Mathematics: The Loss of Certainty，Par Morris Kline），追溯数学在19世纪、20世纪的发展，从非欧几里得几何、悖论、公理化运动到哥德尔不完备定理，揭示了人们对数学的认识从“确定性”到“不确定性”的变化。“确定性的消失”一说，指当人们看到数学的“不确定性”如沉在海水下面的冰山开始崭露头角时的困惑，如罗素所说：“我在数学里总是希望得到的那种壮丽的确定性，消失在不知所措的困惑之中了”，此“不确定性”与关于数学基础的反思密切相关，谓之“问题的问题”，。。。 后起之秀的计算机科学，在20世纪30、40年代，伴随着数学的公理化运动，为了定义什么是机器可以计算的问题，提出“可计算性”概念，进一步表达为“图灵－丘奇定律”。于可计算问题，计算与判断一致，故“可计算问题”具有“确定性”。与哥德尔不完备定理的角度不同，图灵是从计算的角度，证明了存在着“不可计算问题”－“停机问题”，“停机问题”不可判断，也就是说，“停机问题”具有“不确定性”。 然而随着计算机运用的广泛开展，相对于算法可以求解的问题（P），出现了某些实际问题算法求解困难（NP）。从可计算性的角度，问题可以算法求解实际上就是指“可计算性”，只是这里人们用算法的“多项式时间复杂度”表达了“可计算性”，指机器的能力与问题实例的规模增长相匹配，故机器对这样的问题具有计算的能力：P是可计算的；而问题算法求解困难就是指“不可判定性”，即可计算性意义的算法的存在出现了问题，机器对这样问题不具有（精确）计算的能力：NP“难”到不可计算。然而，就是在这里人们的认知开始出现了偏差：没有看透“多项式时间复杂度”的本质是“可计算性”，仅仅局限于具体问题，混淆了“多项式时间复杂度”与实际计算的“多项式时间”的本质区别（见博文： 对“多项式时间复杂度”的误解 ）！从而，把P认为是一类可计算问题，而NP是另一类可计算问题，NP由此失去了“不确定性”的本质（见博文： NP是可计算的吗？－ “问题”的分类 ）。 在这种意义上，我们或许也可以说，“流行的算法理论：不确定性的消失”！但是，这里的“不确定性的消失”是一种认知的迷失，而克莱因所说的“数学：确定性的消失”的困惑，实际上是一种认知的觉醒。正如克莱因在书的开篇所说： －战争、饥荒和瘟疫能引起悲剧，然而，人类思想的局限性也能引起智力悲剧。（There are tragedies caused by war, famine, and pestilence. But there are also intellectual tragedies caused by the limitations of the human mind.）
在计算复杂性理论中，NP是用“非确定型图灵机（nondeterministic Turing machine，NDTM）”来定义的，从“语言”的角度，存在着二个流行的定义（见 : Michael Sipser, Introduction to the Theory of Computation, Section 7.3）： 1，基于验证的定义：NP是“确定型图灵机”在多项式时间内可验证的语言类； 2，基于判定的定义：NP是“非确定型图灵机”在多项式时间内可接受的语言类。 实际上，这二个定义涉及到二个内涵完全不同的NDTM，但是学术界未能认识到这点，将这二个NDTM混淆，得出NP二个定义等价，导致了对NP的认知偏差。 这里，我们试分析NDTM的二个不同所指，使得进一步追究NDTM成为可能。 一，验证定义中的NDTM 验证定义中的NDTM，是学术界公认、源自“非确定型自动机”的“非确定型图灵机”［1］。 其定义为：与“确定型图灵机（deterministic Turing machine，DTM）”相对，在计算的每一时刻，根据当前状态和读写头所读的符号，机器的下一个状态存在“多选择”。 其计算如下：对于表达成字符串w的一个问题的例子，在多项式时间内，猜测一个“证书 c”，然后在多项式时间内验证c，若验证的结果为真，M接受w；但若验证的结果为假，M并不能真正拒绝w，因为c仅是一个“猜测解”。于是，此NDTM不能在多项式时间内接受语言！ 因上述NDTM的计算在多项式时间内完成，故可用DTM来模拟，如Sipser书中Theorem 3.16所说，“Every nondeterministic Turing machine has an equivalent deterministic Turing machine”［1］，遂有基于验证的NP定义。正是在这种意义上，基于验证定义中的NDTM本质上只是TM。 二，判定定义中的NDTM 判定定义中的NDTM，最初出现在Cook那篇奠定计算复杂性基础的论文《The Complexity of Theorem Proving Procedures》（1971年）中： Theorem 1 If a set S of strings is accepted by some nondeterministic Turing machine within polynomial time, then S is P-reducible to {DNF tautologies}. 这里的“a set S of strings is accepted by some nondeterministic Turing machine ” 以后被作为了NP问题的原始定义，即基于判定的NP定义，被学术界广泛接受［2］，解释为NDTM在多项式时间内接受某个语言，这意味着此NDTM可以： 1，在多项式时间内判断一个具体的NP问题实例是否有解； 2，在多项式时间内为此问题求得“精确解”。 那么，具有这样能力的只能是“神喻机（Oracle）”，而不是验证定义中的NDTM了！ 换句话说，此NDTM非彼NDTM也，实指“神喻机”！对此议题，我们已在文章“What is Cook’s theorem?”作了详细的论证，故不在此深入。 三，NDTM概念中的“不确定性”内涵 由此可见，NP二个定义中的NDTM术语未变，所指却完全不同： 于验证定义，NDTM ＝ 确定型图灵机； 于判定定义，NDTM ＝ 神喻机。 这里的“确定型图灵机”与“神喻机”在NP问题形成的学术史中处于完全不同的层次，NP二个定义中的二个NDTM具有不同的意义，它们的混淆正是NP问题中的“雾霾”。 然而，无论是指“神喻机”意义的NDTM，还是指“确定型图灵机”意义的NDTM，在现有的两个NP定义中，二者其实都只有“确定性”的意义，并无真正的“不确定性”的本质。正是在这种意义上，我们认为：“不确定性”从流行的NP定义中消失了！ 在现有的NP问题概念中厘清这些混乱，在NP理论中建立真正的“不确定性”概念，是我们现有研究工作的主要目的。 参考文献 ［1］ Michael Sipser, Introduction to the Theory of Computation, Second Edition. International Edition (2006). ［2］ Garey Michael R., David S. Johnson, Computers and Intractability: A Guide to the Theory of NP-Completeness. W. H. Freeman and company (1979).
“判断”是人最基本的思维活动之一。 于汉字（汉字基因）： 判═半刀，分也，辨也，斷也； 斷═絲斧，使不連續，折也，判也，絕也，無也。 判斷者，分辨後令之不再連續也。 按西方哲学的传统观念，也是人们现在普遍接受的观念，人的思维活动包括：概念、判断、推理。为此，我们引用在西方语言、逻辑学中占有重要地位的书“Grammaire générale et raisonnée（普遍唯理语法），Antoine Arnauld （1612-1694）和Claude Lancelot （1615-1695）”中一段话： Tous les philosophie enseignent qu'il y a trois opérations de notre esprit: concevoir, juger, raisonner. Concevoir, n'est autre chose qu'un simple regards de notre esprit sur les choses, soit d'une manière purement intellectuelle, comme quand je connaît l'être, la durée, la pensée, Dieu; soit avec des images corporelles, comme quand je m'imagine un carré, un rond, un chien, un cheval. Juger, c'est affirmer qu'une chose que nous concevons est telle, ou n'est pas telle: comme lorsqu'ayant conçu ce que c'est que la terre, et ce que rondeur, j'affirme de la terre, qu'elle est ronde. Raisonner, est se servir de deux jugements pour en faire un troisième: comme lorsqu'ayant jugé que toute vertu est louable, et que la patience est une vertu, j'en conclus que la patience est louable. “所有的哲学家都教导说，我们头脑中有三类活动，即：概念、判断、推理。 概念，指我们头脑简单地观察事物所得，或者是纯粹抽象的，如当我想到存在、时间、思想或上帝；或者是有形象的，如当我想到一个正方体、一个圆形、一只狗或一匹马。 判断，指断定我们构想的事物是这样的或者不是这样的，如当我构想什么是地球和什么是圆形以后，对地球作出判断，认为地球是圆的。 推理，是运用两个判断来求出第三个判断，如当我判断一切美德都是值得赞扬的，并且耐心是一种美德，就得出结论，耐心是值得赞扬的。” 也就是说，按一般的理解，“判断”指对事物的某种性质进行肯定或否定的断定。但是如果我们仔细推敲，就会发现“判断”是有层次之别的。 比如，一个人早上起来，对“昨晚是否下雨”进行判断，若他看到地上有雨水等现象，可肯定：“昨晚下雨了（yes）”，或否定：“昨晚没下雨了（no）”。 他还可以对“明天是否下雨”作出判断，若借助天上压得很低的云等现象，他可断定：“明天下雨（yes）”，或者：“明天不下雨（no）”。 但是，这二个判断却有本质的区别。于前一判断“昨晚是否下雨”，事件已结束， 结果 已形成，故能与 结果 对照，验证 判断的 “对错 ／ 真假 ”，故此判断是“确定性”。但于后一判断“明天是否下雨”，因 事件仍在进行中， 结果 尚未形成，无 结果 可对照，以验证其“ 对错／ 真假”，故此判断是“不确定性”的。 在P问题和NP问题中，涉及到的正是这二种本质完全不同的“判断”，但因人们忽视了二者的本质区别，造成了现今理解“NP问题”的困难，故我们称之为“不确定性的困惑”。
我们都知道，买彩票是件不合算的事，因为回报的期望值是负的。也就是说，如果你玩很多很多次的话，最终肯定是输钱的。但为什么还有那么多人买彩票呢？反之，有些事如同负面的“中彩”，如几年前的金融危机，就是很多小概率事件的“杰作”。那么这样的事情，为何那么多风险控制专家却无法避免呢？ 《反脆弱》（ Antifragile: Things that gain from disorder by NassimNicholas Taleb, 2012 ）这本书为认识这类现象提供了一个新的视角。作者塔列伯 (Nassim Nicholas Taleb) 以 2007 年的《黑天鹅》（ The Black Swan: The impact of the Highly Improbable ）一书而出名。今天“黑天鹅”已经成为“小概率，大影响”事件的专有名词。在《黑天鹅》一书中，作者指出很多现代的系统，包括政治，金融系统或公路，电力，网路等，都面对着具有不确定性的环境。而通常应对不确定性的方法是通过几率分析和统计来预测和优化系统的平均性能。塔列伯指出，这样设计出的系统在“黑天鹅”事件面前往往会崩溃。原因是小概率事件往往是没有先例的，它对系统的影响也很难估计。所以当“黑天鹅”事件发生时，系统的反应会超出人们的预料而导致灾难。系统的这种弱点被称为脆弱性（ fragility ）。 在《反脆弱》这本书里，塔列伯进一步发展了这个思路。他的目标不仅是克服脆弱性而生存下来，而且要从不确定中得益，这就是反脆弱（ anti-fragility ）的含义。“反脆弱”就是要把“不确定性”从敌人变为朋友。要理解这本书的脉络，我们可以从三个概念入手：小概率，非线性和反脆弱。 在继续介绍本书内容前，我先要声明：这本书应该被看作哲学而不是科学。也就是说，它提供了一个视角和理念，而不是普适的方法和定理。下面要讲到的概念，策略等都有局限的应用范围，而且都只是考量的一个片面。书中的很多陈述（包括我要介绍的原则和事例）都有推敲的空间。后面我还要讲到本书的缺点和问题。但首先，我把它的基本观念以自己的理解介绍一下。我认为，如果我们批判地吸收这些智慧，对开阔思路还是很有帮助的。 一般具有不确定性的事物中，各种可能的事件都有一定的发生几率。所以我们能用统计的方法来应对不确定性。但是，如果有些事件发生的几率非常小的话，我们对它的认识也就非常少。首先，可能有些事件从来没发生过，我们根本没有任何经验去知道它会不会发生，怎样发生。例如全球变暖问题。它究竟会带来多大灾难？我们无法基于经验来预见。第二，即使发生几率是确定的，但由于几率非常小，其中的不确定性（或称涨落）就非常大。例如大台风，我们说“百年一遇”就是说的几率。但如果几年都遇到大台风也不奇怪，这就是涨落。第三，人脑先天就缺乏直观理解小概率事件的能力。这也是进化的结果：要是老担心小概率事件（如遭雷击，大地震）的话，人就没法活了。所以对小概率事件的重要性，人们通常是估计不足。如果这些小概率事件会带来大影响的话，我们的认知限制就严重影响了我们的预见能力了。 另外还有一类事件，其实不是小概率，但在我们的经验之外，所以我们也无法预见。设想一下一只火鸡，它整天受着主人的照顾过着无忧无虑的生活。他一定觉得主人很爱它，周围环境也很和平，明天发生大灾难的可能性几乎是零。但有一天，它就上了屠宰场了。（这个比喻实际来自于哲学家罗素，但本书中似乎没有说明出处。）人类社会也是一样。有些灾难其实是迟早要发生的，但发生前人们总有意无意地忽略它。 对未来的预计之困难，除了小概率事件的原因外，还有一个因素，那就是非线性。一般地说，我们分析不确定系统时关注某些参数的统计分布。而对系统的评估就看这些参数的平均值。但实际上，真正对我们有影响的是这些参数的某一个函数。如果这个函数是非线性的话，那么它的平均值就不仅取决于参数的平均值，还取决于参数变化的情况。例如，对一座大桥进行力学分析，我们往往把应力作为参数，但真正关心的是材料的破坏。而应力较小时没有任何坏影响，但超过一定阈值后就会带来材料破坏。所以即使应力的平均值很低，但如果变动范围太大的话仍然不安全。当然工程上这类问题很多，人们也有适当的解决方法。但在生活其它方面，这种“非线性”关系就往往被忽略了。例如，当系统能力接近其极限的时候，稍有负荷的增加就会导致超过极限而崩溃。这时负荷与稳定性之间就是非线性关系。高速公路就是这样的系统。平时通车速度与车辆的数量关系不大。但当车辆数量接近负荷极限时，稍有扰动（如小事故或施工）就会引起严重拥堵。而现代的“高效率”观念让很多系统运行在接近极限的状态，就导致了更高的“脆弱性”。这类系统的行为对扰动很敏感，因而也很难预测。另一个例子是尺度的影响。对一个公司来说，如果尺度增加一倍而运作方式不变，按理说利润也该增加一倍。但当尺度大到一定地步时，公司的一举一动会影响到整个市场，这时的环境也就完全不同了。所以尺度与利润之间也是非线性关系。当然从环境角度看也一样。一个市场有一家大公司还是十家小公司，货物供给的平均值是一样的。但一家大公司带来的“脆弱度”却会高很多，因为它的错误会影响到整个市场的供应。 非线性还有一个表现，就是非对称。有些不确定性对我们的利和害在一端是有限的，而另一端是无限的。例如，我们开车旅行，路上会有不少不确定因素。但所有这些很少会缩短我们的旅行时间，而有些事会大大加长旅行时间。所以我们面临的正负风险是不同的。一个复杂的物流系统也是如此：意外事件不会让运行更顺利，而可能造成很大的干扰。也有相反的例子。比如投资一家创业公司的话，可能的损失限于投资的数量。但万一那公司成了下一个苹果，谷歌的话，得益就几乎是无限的了。 由于小概率事件往往伴随着大大偏离平均值的现象，所以在这些现象中非线性也特别厉害。例如，金融市场波动使得银行有亏有赚，这是很正常的事。但是如果市场发生巨大波动（小概率事件），使得很多银行遭受巨大亏损而面临倒闭（亏损与公司生存的非线性关系），那就是大问题了。小概率和非线性“狼狈为奸”，使得对某些系统的预测不是很困难，而是本质上不可能。 如何与“不确定性”化敌为友？（下） http://blog.sciencenet.cn/blog-309766-737619.html
标签: 不确定性
