交易策略的样本外测试
样本外测试是防范“事后看才有效”的策略最简单的办法。本指南解释过度拟合、干净的数据划分如何运作、滚动前向分析能带来什么,以及如何解读结果。

问题所在:过度拟合
想象你抛一百次硬币,然后去找一条本可以预测这些结果的规则。只要可选的规则足够多,你总能找到一条看起来非常出色的。但在接下来的一百次里它毫无用处,因为那里本来就没有什么可找的。它只是记住了过去。
交易策略也有同样的问题。价格中既有会重复出现的规律,也有大量不会重复的噪音。在大量参数上搜索,很容易就会去拟合噪音。这样的结果称为过度拟合的策略:回测完美,实盘表现糟糕。搜索尝试的参数越多,策略的旋钮越多,就越容易过度拟合。
只看产生它的那次回测,你是看不出过度拟合的。无论策略找到的是真实规律还是噪音,曲线看起来都一样。你需要搜索没有用过的数据。
样本内和样本外
样本内数据是用于开发或调整策略的那部分。样本外数据是留在一边、只在最终检验时使用一次的那部分。规则在这次检验之前就已固定,之后也不做任何改动。
道理很简单:样本外部分扮演未来的角色。搜索看不到它,所以在那里同样有效的规律,纯属偶然的可能性就更小。这不是证明,但它比任何样本内结果都要可靠得多。

M Alpha Core 如何划分数据:65/35
M Alpha Core 的每次扫描都在所选时间周期上使用大约一年的数据。前 65% 是样本内。扫描在这部分上测试内置策略的数千组参数,并选出最好的。后 35% 是样本外。选出的参数在上面原封不动地运行一次。报告把两个结果并排显示,让你一眼就能比较。
为什么是这个比例?搜索需要足够的数据,才能找到覆盖不同市场阶段的参数。检验需要足够的交易,才能说明问题。一年数据按 65/35 划分,检验期仍然覆盖大约四个月。在我们的黄金示例中,这一年共有 153 笔交易,所以未见部分仍有相当数量的交易。
为什么时间顺序很重要
划分必须遵循时间。样本外部分排在样本内部分之后,就像明天排在今天之后。如果你随机挑选一些日子或月份来做检验,后面时期的信息就会混进搜索里。市场阶段会持续数周或数月,所以相邻的日子彼此相似。这时随机划分就是在几乎和调参所用日子一模一样的日子上测试策略,结果看起来会比实际更好。这是数据泄漏的一种形式。
滚动前向分析
滚动前向分析把样本内和样本外的思路重复多次。你在一个窗口上搜索,在紧随其后的时期上测试,然后把两个窗口都向前移动,再做一次。最后把所有样本外时期合并成一个结果。
优点是:你得到更多样本外数据,并能看出策略在市场变化时是否持续有效。代价是:它需要多得多的计算时间,而且参数每个窗口都会变化,让实盘策略更难跟进。
M Alpha Core 的 65/35 划分是滚动前向的一步:一个搜索窗口,以及其后的一个测试窗口。之后当你在更新的数据上运行新的扫描时,实际上就是在走下一步。随时间对比这些扫描的报告,就能知道某个市场是否持续保持策略所需要的走势特征。
如何解读样本外结果
| 黄金,1 小时:盈利因子 样本内 / 样本外 | 2.53 / 2.81 |
| Nvidia:盈利因子 样本内 / 样本外 | 2.19 / 4.90 |
| Nasdaq 100:样本外盈利因子 | 2.17 |
| 黄金:测试期内的交易笔数 | 153 |
| Nvidia:测试期内的交易笔数 | 89 |
数值来自我们自己采用 65/35 划分的扫描。
- 样本外相近或略好,如黄金:参数没有绑定在搜索时那几个月的具体走势上。这算通过。
- 样本外好很多,如 Nvidia:同样算通过,但要谨慎。样本外部分较短,交易更少,所以几笔走运的交易分量更重。不要指望更高的数值会一直延续。
- 样本外明显变差:搜索很可能拟合了噪音。从约 2.5 跌到约 1 就是明确的不通过,无论样本内曲线看起来多好。
- 样本外低于 1:这些参数在没见过的数据上亏了钱。不要拿它们交易。
还要看每个部分的交易笔数。只有十几笔交易得出的盈利因子,可能因为偶然而大幅波动。
会毁掉测试的陷阱
- 偷看。你看了样本外结果,改一个参数,再看一次。几轮之后,样本外部分就变成了样本内。
- 在多个市场里挑结果。你扫描了二十个市场,只留下样本外结果最好的那一个。其中有一部分是运气。先决定好你的市场。
- 检验期太短。只有几周的样本外数据,交易笔数往往太少。
- 规则中有前视。如果某条规则用了未来的数据,再完美的划分也救不了这次测试。
- 没有成本。手续费、滑点和资金费率在两个部分中都应计入。
样本外测试与杠杆
在未见数据上通过,说明规则找到了真实的东西。但它并不说明这些规则能承受多大杠杆。为此要看单笔交易的最大不利波动。在一个 ETH 示例中,最大不利波动是 15.64%,所以任何高于 6.39 倍的杠杆都会让那笔交易被强平。黄金的上限是 18.2 倍,Nvidia 是 9.03 倍。M Alpha Core 在每份报告中都显示这个上限,你也可以用杠杆与强平计算器自己测试这层关系。

测试之后:模拟运行和实盘
通过样本外测试只是开始,而不是结束。下一项检验是在实时价格上模拟运行:机器人记录它会做什么,但不发送订单。然后是小额实盘。M Alpha Core 严格按这个顺序进行,并且每个星期日都会把机器人按自身规则本应赚到的,与你账户上实际发生的进行比较。完整流程请阅读如何测试加密货币交易机器人指南。
常见问题
什么是样本外测试?
在没有用于开发或调整策略的数据上测试策略。规则在测试之前就已固定,测试之后也不做改动。
什么是样本内数据?
用于开发或调整策略的那部分数据。M Alpha Core 使用一年中前 65% 的数据。
交易中的过度拟合是什么?
策略拟合的是历史价格中的噪音,而不是会重复出现的规律。它在回测中看起来很棒,之后却会失效。
什么是滚动前向分析?
在不断向前移动的时间窗口上重复搜索和测试,再把所有测试期合并成一个结果。
65/35 数据划分算是滚动前向测试吗?
它是滚动前向的一步:一个搜索窗口,以及紧随其后的一个测试窗口。
为什么不随机划分数据?
相邻的日子彼此相似,所以随机划分会让测试期的信息泄漏到搜索中。
如果样本外结果更好怎么办?
这算通过,但较短的时间段里交易更少。不要指望更高的数值会一直延续。
我可以看完样本外结果再调整吗?
那样就会破坏它。一旦你在它上面调参,它就变成了样本内数据。
样本外测试通过能保证盈利吗?
不能。这是一个强有力的信号,但市场会变化,任何回测都不是承诺。
多少样本外数据才够?
要足以容纳有意义的交易笔数。使用一年数据、35% 的比例时,检验期大约覆盖四个月。
对比 M Alpha Core
与其他机器人工具并排对比,关于它们的每项说法都附有来源。
M Alpha Core 支持的交易所: Binance · Bybit · Bitget · OKX · MEXC · Gate · BingX · KuCoin · Crypto.com · Hyperliquid
相关页面
所有数据均来自基于历史市场数据的回测。任何结果都不代表对未来收益的承诺。交易,尤其是杠杆交易,风险很高。M Alpha Core 是一款软件工具,不构成投资建议。