50 年代末到60 年代初, 航天技术的发展涉及到大量的多输入多输出系统的最优控制问题, 用经典 控制理论已难以解决. 数字计算机的出现使得亨利￠ 庞加莱(1875-1906) 的状态空间表述方法可以作 为被控对象的数学模型和控制器设计与分析的工具.于是产生了以极大值原理、动态规划和 状态空间法 为核心的现代控制理论。 1. 经典状态空间法： State Space Model 状态空间模型包括两个模型： 一是状态方程模型，反映动态系统在输入变量作用下在某时刻所转移到的状态； 二是输出或量测方程模型，它将系统在某时刻的输出和系统的状态及输入变量联系起来。 如下 : 离散状态空间模型. 其中， k 为离散时间， x k 为状态变量， y k 为观测， u k ,v k 为噪声。 f k (.)为状态模型， h k (.) 为观测模型。 状态空间模型 提供一种方便、有效的时序递归的贝叶斯最优估计框架，因此有了坚实的理论基础。开山之作就是卡尔曼滤波，见下文的回顾： Approximate Gaussian Conjugacy: Parametric Recursive Filtering under Nonlinearity, Multimodality, Uncertainty, and Constraint, and Beyond, Frontiers of Information Technology Electronic Engineering, 2017, 18(12):1913-1939, ＬＩＮＫ 其中特别值得一提的是，哈佛终身教授何毓琦院士1964年发表于TAC的经典文章最早（之一）阐释了卡尔曼滤波和贝叶斯最优估计的关系。这极大助力了后来卡尔曼滤波的蓬勃发展 ，至今已有近六十年（因为一个方法关联一个伟大的理论，将如虎添翼！）： Ho, Y., Lee, R., 1964. A Bayesian approach to problems in stochastic estimation and control. IEEE Trans. Autom. Contr., 9(4):333-339. 状态空间模型的假设条件是动态系统符合马尔科夫Hidden Markov Model (HMM)特性，即上面的 x k = f k ( x k- 1 , u k ) ，即给定系统的现在状态，则系统的将来与其过去独立；这给建模和递归计算带来了极大方便。然而，HMM受限很多，对真实世界的刻画并不一定准确甚至有效，特别是，随着传感大数据时代的到来，其一些弊端日益突出. 毕竟我们今天的传感器和外界条件和卡尔曼、何院士的60年代完全不可同日而语: 目标变得越来越狡猾，难以用简单的HMM建模。特别是系统统计信息缺失(如不知道目标的运动模型，不知道系统噪声、甚至观测噪声模型，以及各种的复杂系统关联、时滞和耦合等等)，根本无法构建较为准确甚至有效的的状态空间模型， 2. 抛弃HMM： 对于传感器数据越来越多，传感器精度越来越高的情况，是否可以有新的解决方案（HMM弃之不用）呐？见 ： 如果我有成百上千个传感器，是否还需要动态模型？ 以及 轻松多传感器多目标探测与跟踪！ 这类方案主要应对完全未知系统背景，但数据量很大的情况 Remember that all models are wrong; the practical question is how wrong do they have to be to not be useful. -- Box, George E. P.; Norman R. Draper (1987). Empirical Model-Building and Response Surfaces, p. 74 3. 数据驱动的新框架： 既然经典方法成也萧何（HMM）败也萧何（HMM），除了弃之不用（太过消极了点）之外，更恰当的解决方法是寻找一个更符合自然规律和更能够准确描述真实世界的替代模型。 下文提出了一种取代HMM的新框架： Joint Smoothing, Tracking, and Forecasting Based on Continuous-Time Target Trajectory Fitting, IEEE Trans. Automation Science and Engineering, Oct. 2018. DOI:10.1109/TASE.2018.2882641. @ IEEE Xplore Pre-print @ arXiv:1708.02196 Joint Smoothing and Tracking Based on Continuous-Time Target Trajectory Function Fitting 论文中提供了程序源代码(链接) Abstract: This paper presents a joint trajectory smoothing and tracking framework for a specific class of targets with smooth motion. We model the target trajectory by a continuous function of time (FoT), which leads to a curve fitting approach that finds a trajectory FoT fitting the sensor data in a sliding time-window. A simulation study is conducted to demonstrate the effectiveness of our approach in tracking a maneuvering target, in comparison with the conventional filters and smoothers. 基于数据驱动的估计新框架（与基于HMM的经典状态空间法的思路相比）的核心在于将HMM替换为一个连续时间上的目标轨迹曲线函数 FoT (Function of Time) x k = f ( t ) , 从而将传统的滤波、平滑与预报等估计问题转化为一个连续时间窗内的 曲线拟合和参数学习 问题，即可用一个参数化的函数近似曲线轨迹函数： F ( t ; C k ) ≈ f ( t ) , 其中 C k 为待求参数。从而可以采用聚类、拟合与机器学习等数据驱动的工具与方法解决复杂场景下的（多）目标探测、跟踪与预报问题，这样就有望克服传统方法严重依赖目标模型假设、机动探测时滞、对错序数据敏感等难题。如下图所示： 上图中，左侧为 经典的滤波估计方法： KF : Kalman Filter, AGC : Approximate Gaussian Conjugacy, PF : Particle Filter, MHT :Multiple hypothesis tracking, FISST :Finite-Set Statistics. 等等.....近六十年的发展，出现了非常多的理论和方法。 右侧为数据驱动的新范式： O2 : Observation-only ， C4F : Clustering for Filtering ， F4S ：Fitting for Smoothing ， FTC ： Flooding-then-Clustering -， T-FoT : Trajectory Function of Time。 两者均采用相同的观测模型 y k = h k ( x k , v k ) , 但是不同的状态模型: 经典状态空间法采用HMM，新范式采用轨迹FoT。 一提到曲线拟合或者回归分析，可能会觉得计算效率低，不如递归迭代计算所以不能满足实时性？事实上： 对于线性观测系统，那么只需要线性拟合，并一般定义量测误差为范数2的马氏距离，曲线拟合退化为加权最小二乘直接给出，计算效率胜过线性卡尔曼滤波。 对于非线性观测系统进行线性拟合如多项式拟合，拟合需要往往需要迭代近似。对于非线性观测系统下的曲线拟合计算效率至关重要的是 参数的初始化， C k = C k -1 + ρ k 可大大加速计算效率（甚至一两步的梯度下降法就可以搜索到收敛的参数估计），从而可能使得拟合的计算效率扩展卡尔曼滤波（需要计算雅可比阵）还快 --- 这可能超出我们直觉想象 -- 不试不知道！ 更进一步，如果系统含有约束条件呐？仍然可以有效解决，请参考下文： 4. 约束下的SSM和轨迹曲线拟合： Single-Road-Constrained Positioning Based on Deterministic Trajectory Geometry Tiancheng Li， IEEE Communications Letters (Volume: 23, Issue: 1 , Jan. 2019) pp.。 80-83 论文中提供了程序源代码(链接) Abstract: We consider the single-road-constrained estimation problem for positioning a target that moves on a single, deterministic and exactly known trajectory. Based on the geometry of the trajectory curve, we cast the constrained estimation problem as an unconstrained problem with reduced state dimension. Two approaches are devised based on a Markov transition model for unscented Kalman filtering and a continuous function of time for (weighted) least square fitting, respectively. A popular simulation model has been used for demonstrating the performance of the proposed approaches in comparison to existing approaches. 请参考论文。下面给出该短文关键部分的一些截图。
在几乎所有（有关传感器的）参数和（有关目标的）模型条件均未知的情况下，怎么做到：采用一个无线传感网（节点之间还可能非相互独立）去探测、跟踪未知数目的一群目标？ 传统上来说，就是采用一个传感器去跟踪估计一个目标，滤波器的设计也往往要基于准确的传感器参数（比如噪声统计特性、杂波率、漏检率等）和相对准确的目标模型信息（否则就需要构建多模型或者自适应模型进行近似或学习逼近），这些所涉及的参数和模型，任何一个未知都会给估计跟踪带来很大困难！比如常常借助于有效的系统辨识或者参数学习机制等等，滤波器才能够有效运行。 那么一堆传感器（特别是分布式网络链接起来）和一堆目标呐，什么属性都完全未知的时候呐？不仅仅是数量的升级，还可能带来传感器之间和目标之间的交互关联等复杂问题！这就使得多传感器多目标跟踪成为一个更为棘手的难题！大道至简，难到一定程度的问题也许可以用简单的方法解决！ 请看下文所提出的一中 Lazy Networking Approach: 轻松网络协作方法，只需要Flooding 和 Clustering两个操作， 就可以应对各种参数和模型未知，方法简单计算快、效果可以胜过提供了真实参数和模型信息的传统滤波器（也就是先不让滤波器去操心参数和模型未知的问题，给它们最理想的条件）！ Distributed Flooding-then-Clustering: A Lazy Networking Approach for Distributed Multiple Target Tracking Authors: Tiancheng Li ; Juan M Corchado ; Huimin Chen Abstract: We propose a straightforward but efficient networking approach to distributed multi-target tracking, which is free of ingenious target model design. We confront two challenges: One is from the lack of statistical knowledge about the target appearance/disappearance and movement, and about the sensors, e.g., the rates of clutter and misdetection; The other is from the severely limited computing and communication capability of the low-powered sensors, which may prevent them from running a full-fledged tracker/filter. To overcome these challenges, a flooding-then-clustering (FTC) approach is proposed which comprises two components: a distributed flooding scheme for iteratively sharing the measurements between sensors and a clustering-for-filtering approach for target detection and position estimation from the local aggregated measurements. We compare the FTC approach with cutting edge distributed probability hypothesis density (PHD) filters that are modeled with appropriate statistical knowledge about the target motion and the sensors. A series of simulation studies using either linear or nonlinear sensors, have been presented to verify the effectiveness of the FTC approach. Published in: https://ieeexplore.ieee.org/document/8455759 DOI: 10.23919/ICIF.2018.8455759
估计 Largest Lyapunov exponent 的 matlab 程序搜集（网址） （1）Lyapunov exponent estimation from a time series. Documentation added version 1.2.0.0 (2.49 MB) by Alan Wolf A Matlab version of the Lyapunov exponent estimation algorithm of Wolf et al. -- Physica 16D, 1985. https://ww2.mathworks.cn/matlabcentral/fileexchange/48084-lyapunov-exponent-estimation-from-a-time-series-documentation-added （2）Largest Lyapunov Exponent with Rosenstein's Algorithm version 1.1.0.0 (1.61 KB) by mirwais This code calculates the largest lyapunov exponent of time series with Rosenstein's Algorithm. https://ww2.mathworks.cn/matlabcentral/fileexchange/38424-largest-lyapunov-exponent-with-rosenstein-s-algorithm （3）LYAPROSEN: MATLAB function to calculate Lyapunov exponent Shapour Mohammadi (shmohammadi@gmail.com) (University of Tehran) https://ideas.repec.org/c/boc/bocode/t741502.html 感谢您的指教！ 感谢您指正以上任何错误！ 感谢您提供更多的相关资料！
传感器的飞速升级主要表现在两个方面 1. 硬件 质量的快速升级，变得越来越高精。比如 1976 年发射的第一个电子成像卫星 KH11 所携带的当时最先进的相机成像精度是 800X800( 还不到一百万 ) 像素，而今天随处可见的智能手机的像素都轻松在千万级别。另外，更主要的说，传感器的扫描频率越来越高！从分钟级别到毫秒微秒！ 2. 价格的巨幅跳水导致，大量传感器协同的应用 Joint massive deployment 。现在一个千万级别像素的手机摄像头不过几十元造价，且得益于WIFI的快速发展，构建传感网轻而易举，协作不但可以大大提高精度和观测范围等，而且可以有效应对单个的“不工作”和外在的攻击等。据传美军在中东沙漠“撒播”大量探测微小型传感器，探测恐怖分子地面部队移动，根本不担心很多的一些被当地居民或者恐怖分子“打捞”，因为量大呀！真可谓土豪越来越多，什么问题？多买几个传感器得了，费那劲搞什么提升5%的算法改进去呐！ 这种情况下，一些基于传感器的数据的算法开发是否需要本质性的升级或者说更新？比如，滤波跟踪研究？ 特别是，已有很清晰的数据显示：当传感数据质量很高的时候（无论传感器扫描频率还是精度，以及高探测率和低漏检低杂波率等），滤波器就会变得对于状态动态模型的偏差和误差（基本所有的基于模型的滤波器都是基于对外界的假设近似，都含有误差甚至偏差）非常非常敏感！ 见之前一文的点对点分析： http://www.sciencedirect.com/science/article/pii/S0020025515006969 T.Li, J.M. Corchado, J. Bajo, S. Sun and J. F. Paz, Effectiveness of Bayesian Filters : An Information Fusion Perspective , Information Sciences , 2016, 329: 670-689 而清晰地事实是，传感器硬件的进步不会停止，只会更快！越来越高精，越来越“眼里揉不进沙子”对模型的任何误差偏差不稳定等等敏感，而导致模型不但没用反而成为累赘甚至帮倒忙！ 在数据贫乏和低效的时候（传说的物资匮乏的年代），很多目标假设模型等还非常有用甚至非常必要，但是当数据量多而好的时候呐？而且又当我们对外界基本一无所知、目标等又特别狡猾（建模非常困难，而且冒着巨大误差和偏差风险；更何况道高一尺魔高一丈呐，对方的目标也变得机动和反建模反锁定 啊）呐 ? 难道我们不断地打补丁一个模型套一个模型般地维护着传统理论和方法，小打小闹的不断改进改进在改进， 要让脚来适应鞋子 （比如某款滤波器） 吗？ 是否可以抛弃滤波器，采用纯粹的数据聚类学习来解决滤波问题？ 见新文展示的一种聚类方法实现目标探测和估计： FreeLink T. Li, F. De la Prieta Pintado, J. M. Corchado, J. Bajo, Multi-source Homogeneous Data Clustering for Multi-target Detection from Cluttered Background with Misdetection ,Applied Soft Computing 60 (2017) 436–446 @ ScienceDirect . （ 集中式多传感器 ） T. Li, J.M. Corchado, H. Chen, Distributed Flooding-then-Clustering: A lazy networking approach for Distributed Multitarget Tracking , 21th Int. Conf. on Information Fusion ( FUSION’18 ) , Cambridge, UK, July 10-13, 2018, pp. 2415 - 2422 . IEEE Xplore （ 分布式多传感器 的假设更具有实际意义） 这可能对于 计算机领域 做纯粹聚类算法的人来说是个小 case – 但本文主要展示的核心理念是拿 clustering 来做完全 filtering，场景和目标模型及个数等完全处于黑箱内 。模型完全未知对于做滤波来说的是个棘手问题。。如果你有 4 个传感器，你该如何利用传感器的优势解决模型的劣势。 而实际上，退一步讲，聚类结果也可以反过来和传统滤波器结合。下文即展现了 一种基于传感数据聚类分析的新的概率假设密度（PHD）滤波器。其 将不同传感器的测量数据集合、聚类转换为一组合成的代理、同源测量数据。 这些合成测量取代原始量测数据可以实现线性PHD更新，克服了虚警和漏检数据以及未知传感器统计信息的挑战。适用于 集中式或点对点分布式网络链接的多个甚至大量传感器下的多目标跟踪。 Tiancheng Li ; Javier Prieto ; Hongqi Fan ; Juan M. Corchado， A Robust Multi-Sensor PHD Filter Based on Multi-Sensor Measurement Clustering ，IEEE Communications Letters, 2018, Vol. 22 , no. 10 ，pp. 2064 - 2067. 量变到一定程度就会引起质变！ 最新的研究进展特意强调并展示了：如果有任何模型信息（包括模糊的，语言描述的非精确 的统计信息）的话，还（ 也 ）可以怎么 融合 模型 和 数据 T. Li, Single- road-constrained positioning based on deterministic trajectory geometry, IEEE Communications Letters, 2018. DOI: 10.1109/LCOMM.2018.2879478 @ IEEEXplore 上文展示了，基于道路几何约束的经典状态空间模型下的滤波跟踪与基于所提出的曲线拟合新方法对比 T. Li , H. Chen, S. Sun and J. M. Corchado. Joint Smoothing, Tracking, and Forecasting Based on Continuous-Time Target Trajectory Fitting , IEEE Trans. Automation Science and Engineering, @ IEEE Xplore . Pre-print @ arXiv:1708.02196 （预引版更详细） 上文主要的基础性贡献是 将HMM替换为一个连续时间上的目标轨迹曲线函数 f(t)，从而将将传统的滤波、平滑与预报等估计问题转化为一个连续时间函数拟合和参数学习问题，从而可以采用聚类、拟合分析与机器学习等数据驱动的工具与方法解决复杂场景下的多目标探测、跟踪与预报问题，这样就有望克服传统方法严重依赖目标模型假设、机动探测时滞、对错序数据敏感等难题 \0 相关连接博文： 轻松多传感器多目标探测与跟踪！
信号和信息科学领域，非线性估计与滤波是一个持久不衰的主题，而主流Markov-Bayes理论统治这个领域太久太流行了。。。然而科学不是一成不变的真理条条， 科 研的 兴趣在于不牢记教条、 尝试突破不断超越 兴许别有 洞天 。尤其是随着 时代进步，硬件条件升级，也会促进理论格局变化。。 比如很简单：一个百万像素级别的高速摄像机需要解决的传感问题跟一个KB级别的黑白相机能一样吗？ 下文给出一种不用滤波器的滤波去杂方法（思想简单，但是意味深远），承接上文： Effectiveness of Bayesian filters: An information fusion perspective 链接： Clustering for filtering: Multi-bject detection and estimation using multiple/massive sensors Highlights • Multi-sensor multi-object detection and estimation is solved by a clustering approach. • Accommodate little prior information about targets, background and sensors. • Neither sophisticated modeling nor unrealistic assumption is required. • Outperform state-of-the-art filters in average multi-sensor cases. Abstract Advanced multi-sensor systems are expected to combat the challenges that arise in object recognition and state estimation in harsh environments with poor or even no prior information, while bringing new challenges mainly related to data fusion and computational burden. Unlike the prevailing Markov-Bayes framework that is the basis of a large variety of stochastic filters and the approximate, we propose a clustering-based methodology for multi-sensor multi-object detection and estimation (MODE), named clustering for filtering (C4F), which abandons unrealistic assumptions with respect to the objects, background and sensors. Rather, based on cluster analysis of the input multi-sensor data, the C4F approach needs no prior knowledge about the latent objects (whether quantity or dynamics), can handle time-varying uncertainties regarding the background and sensors such as noises, clutter and misdetection, and does so computationally fast. This offers an inherently robust and computationally efficient alternative to conventional Markov–Bayes filters for dealing with the scenario with little prior knowledge but rich observation data. Simulations based on representative scenarios of both complete and little prior information have demonstrated the superiority of our C4F approach. 进一步的研究：能够不需要任何传感器参数和场景假设的 【参数自学习】的多源传感数据聚类 Multi-source Homogeneous Data Clustering for Multi-target Detection from Cluttered Background with Misdetection
标签: 估计
