用时间序列的知识回答简述如何检验一个模型的有效性？

为了得到正确的结论、在进行系统分析、预测和辅助决策时,必须保证模型能够准确地反映实际系统并能在计算机上正确运行.因此,必须对模型的有效性进行评估.模型有效性评估主要包括模型确认和模型验证两部分内容：模型确认考察的是系统模型（所建立的模型）与被仿真系统（研究对象）之间的关系,模型验证考察的则是系统模型与模型计算机实现之间的关系.

对于一个具体的建模项目来说,模型有效性评估贯穿于研究的始终.必须指出,模型实际上是所研究的系统的一种抽象表述形式,要验证一个模型是否百分之百有效是极其困难的,也是没有实际意义的.另外,模型是否有效是相对于研究目的以及用户需求而言的.在某些情况下,模型达到60％的可信度使可满足要求；而在另外一些情况下,模型达到99％都可能是不满足的.

模型有效性的概念出现在20世纪60年代,随着计算机仿真技术在各个学科和工程领域的普遍应用,模型有效性问题日益受到人们的关注. 1967年,美国兰德公司的fishman和Kivtat明确指出,模型有效性研究可划分为两个部分：模型的确认（validation）和验证（verification）.这一观点被国际仿真学界普遍采纳.模型确认指通过比较在相同输入条判和运行环境下模型与实际系统输出之间的一致性,评价模型的可信度或可用性.模型验证则是判断模型的计算机实现是否正确.

尽管确认和验证在各文献中的定义不尽相同,但对于二者之间的区别,专家的看法却是基本一致的.简单地说,模型确认强调理论模型与实际系统之间的一致性,模型验证则强调当前模型与计算机程序之间的一致性.在有些文献中也采用工程技术人员容易接受的“校模”和“验模”两个术语来分别代替“确认”和“验证”.模型的确认和验证与建模的关系见图 8.5.

在图 8.5中,“问题实体”指被建模的对象,如系统、观念、政策、现象等.“理论模型”是为达到某种特定的研究目的而对问题实体进行的数学／逻辑描述.“计算机模型”（computerized Model）是理论模型在计算机上的实现.

通过“分析与建模”活动可以建立理论模型.计算机模型的建立需通过“编程及实现”这一步骤来完成.经过仿真“实验”即可得到关于问题实体的结果.

模型确认包括理论模型有效性确认、数据有效性确认和运行有效性确认三部分内容,其中运行有效性确认是模型确认的核心.

图 8.5 确认和验证与建模的关系

1）理论模型有效性确认

理论模型有效性确认是对理论模型中采用的理论依据和假设条件的正确性以及理论模型对问题实体描述的合理性加以证实的过程.理论模型有效性确认包括两项内容：

（1）检验模型的理论依据及假设条件的正确性.它具有两个含义,一是检验理论依据的应用条件是否满足,如线性、正态性、独立性、静态性等；该检验过程可以利用统计方法进行.二是检验各种理论的应用是否正确.

（2）子模型的划分及其与总模型的关系是否合理,即分析模型的结构是否正确,子模型问的数学/逻辑关系是否与问题实体相符.理论模型经确认有效后,才能对其进行试运行.最后根据输出结果评估模型的精度.若理论模型无效,应重复分析、建模及确认的过程.

2）数据有效性确认

数据有效性确认用于保证模型建立、评估、检验和实验所用的数据是充分的和正确的.

在模型开发过程中,数据用于模型的建立、校验和运行.充分、正确、精确的数据是建立模型的基础.数据有效性确认包括对模型中关键变量、关键参数及随机变量的确认,以及对运行有效性确认时所使用的参数和初始值等数据的确认.

3）运行有效性确认

运行有效性确认指就模型开发目的或用途而言,模型在其预期应用范围内的输出行为是否有足够的精度.

运行有效性确认的目的是对模型输出结果的精度进行计算和评估.其前提是实际系统及其可比系统的数据均可获取.通过比较模型和实际系统在相同初始条件下的输出数据,可对模型有效性进行定量分析.与实际系统相类似的系统,确认为有效的解析模型、工程计算模型、以及经过确认的模型都可作为模型的可比系统.

理论模型确认、数据有效性确认及模型验证是运行有效性确认的前提.经运行有效性确认被认为有效的模型即可作为正式模型投入运行,利用它进行实际问题的研究.若模型在运行有效性确认时被确认为无效,其原因可能是理论模型不正确、或计算机模型不正确,也可能是数据无效.具体原因的查明需从分析与建模阶段开始,重复模型的构造过程.若实际系统及其可比系统不存在或完全不可观测,则模型与系统的输出数据无法进行比较.在这种情况下,一般只能通过模型验证和理论模型确认,定性地分析模型的有效性.

理论模型有效性包括：1）表观确认,分析对与模型有关的所有信息进行评估,确定需要附加分析的内容,以提高模型的可信度水平；2）历史分析,对与模型有关的历史信息的评估,以评价模型对预期应用的适宜性.3）预期应用和需求分析,对预期应用的效果进行评估,以确定那些对资源的有效利用起关键作用的需求.4）模型概念和逼真度分析,对模型的算法和子模型进行评估,以辨识那些不适用的假设,并确定子模型的逼真度是否能保证模型的预期应用.5）逻辑追踪分析,通过模型逻辑评估模型中指定实体的行为,并确定这些行为是否都是所期望的.

模型有效性：对模型性能的一种刻画.是模型输出结构与真实生命系统的特性符合程度的定量表示.它研究的是模型的可靠性和精确性.通过可用于测定模型精确性的统计学描述，做出对基本假设的明确和客观的检验.有效性不同于校验，校验是模型的一般特性和过程机制与真实生命系统是否相符的检验过程.因此，校验主要是对所建模型的一种主观评价，而不是对模型基本假设的一种明确的检验.

分辨模型的有效性的方法：

① 提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题；

② 信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析；

③ 收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通；

④ 数据分析方法是否合理，是否将风险控制在可接受的范围；

⑤ 数据分析所需资源是否得到保障。

---