使用验证对模型进行评估
使用验证可以通过创建预测模型时未涉及的数据集对预测进行评估。
与交叉验证一样,目的应包括以下方面:
- 接近 0 的平均误差
- 较小的均方根预测误差
- 与均方根预测误差相似的平均标准误差
- 接近 0 的标准平均值预测误差
步骤:
-
创建用来创建和验证模型的子集:
- 将数据集添加到要为其创建子集的 ArcMap 中。
-
单击 Geostatistical Analyst 工具条上的下拉箭头并单击子集要素工具。
将打开子集要素工具。也可以直接从 Geostatistical Analyst 工具 工具箱中打开此工具。它位于“使用地统计图层”工具集中。
- 指定要为其创建子集的数据集。
- 为将要创建的训练子集和测试子集指定名称和位置。
- 指定训练子集的大小。默认大小为数据大小的百分之五十,但也可以通过将子集大小单位切换至 ABSOLUTE_VALUE 来指定其他百分比值或要素具体数量。
- 单击完成。
- 创建插值模型:
- Click the Geostatistical Wizard button on the Geostatistical Analyst toolbar.
- 使用训练数据集创建插值模型。
- 使用测试数据集进行验证:
- 创建输出表面后,右键单击该图层,然后选择验证/预测。
将打开图层至点对话框。
- 输入地统计图层框中应该已填充了选择用于验证的图层。
- 在观测点位置下方,指定 Test 数据集。
- 要验证的字段必须是用于创建插值模型的同一字段(属性)。
- 在输出点位置处的统计数据框中,指定文件的位置。
- 单击确定。
- 创建输出表面后,右键单击该图层,然后选择验证/预测。
- 评估结果:
- 通过右键单击该图层,并选择打开属性表,打开在先前步骤中创建的点要素图层的属性表。
- 向右滚动,直至找到 Included 字段、Predicted 字段和 Error 字段。如果正在验证克里金模型,可能还包括其他字段,如 Standard Error、Standardized Error 和 Normal Value。
- 右键单击 Error 列标题,然后单击统计。
平均值应接近 0。
- 要计算均方根误差,可向属性表添加名为 Error_squared 的字段(定义为双精度型)。右键单击该列标题,然后使用字段计算器计算其值。将表达式设置为 Error * Error。使用统计工具获取这些方根误差的平均值。最后,计算平均值的平方根。这就是均方根误差,其值应该尽可能小(接近 0)。
- 右键单击 Standard Error 列标题,然后单击统计。
平均值应该尽可能小(接近 0)。它也应该与均方根误差相似。
- 如果验证克里金模型,可右键单击 Standardized Error 列标题,然后单击统计。平均值应接近 0。
- 它也可用于绘制预测值与测量(原始属性)值的散点图,以查看这些点是否落在接近 45 度线的位置。
7/10/2012