Solving Discrete-Continuous Dynamic Choice Models: A Soft-to-Hard AI Solver with an Application to Sovereign Default

研究概览

离散–连续动态选择（DCDC）模型广泛存在于劳动经济学、产业组织与宏观经济学中，其价值函数是各选择分支的上包络，在离散切换处形成不可微拐点，使传统网格方法与端到端深度学习分别陷入维度灾难或梯度截断。该工作提出软到硬（StH）深度强化学习框架：训练时以 log-sum-exp 软延续值与 logistic 软选择概率替代硬离散开关，让梯度穿透价值分支与策略网络；温度参数随迭代系统退火至零，评估时回到严格的硬开关决策，从而求解原始、未平滑的经济体。在一期与多期 CE2012 主权违约模型上的应用表明，StH 即使从严重失真的初始化出发，也能恢复违约边界与资产政策，其模拟矩与 CE2012 目标高度接近。

这项研究试图解决什么问题？

研究背景

DCDC 模型的传统求解路线依赖昂贵的全局网格搜索，如 VFI、DCEGM 与 MPEC，维度限制严重。另一条路线通过永久引入辅助收入冲击、极值偏好冲击或随机到期结构平滑环境，虽然便于计算，却改变经济体的结构原语，可能扭曲反事实政策含义。已有直接求解原始问题的方法又常依赖模型专属的广义欧拉方程推导和离散网格。对深度学习而言，硬 max 在切换处不可微，训练早期落后分支获得零梯度，网络因失去关键信号而停滞。

具体研究内容

1. 形式化一般二元离散选择与连续行动并存的 DCDC 环境，解释硬 max 导致的梯度消失。
2. 设计四网络 StH 求解器，并证明软算子随温度下降一致逼近硬选择结构。
3. 在一期主权违约模型中恢复违约边界、债券价格和资产政策，并进行严重失真初始化测试。
4. 在多期 CE2012 长期债务模型中比较无永久平滑、辅助收入冲击和品味冲击三类求解对象。

研究是怎样完成的？

StH 用四个神经网络分别表示连续策略 xω(s)、还款与违约两个分支的价值评论家 V¹θ、V⁰ψ，以及均衡期望网络 Γφ（例如债券价格函数）。连续策略经过 sigmoid 有界参数化以满足可行域。训练时，以 Cτ(s)=τ·lnΣexp(Vd/τ) 的 log-sum-exp 软延续值替代硬 max，并以 logistic 软还款概率替代硬指示函数，使两个价值分支与连续演员始终获得非零梯度；温度 τ 随迭代单调退火至零。评估和模拟时则移除所有平滑装置，由演员在原始硬开关经济中输出确定性行动。

如何检验，得到了什么结果？

模型环境

一期主权违约模型（λ=1 特例）与采用 CE2012 原始参数校准的长期债务模型，后者包含债务稀释与递归定价。

研究对象

单个主权政府构成的小型开放经济，收入冲击服从离散马尔可夫过程。

实验任务

恢复违约边界、债券价格、利差函数与债务政策；比较长期模拟矩，并包含严重失真初始化的稳健性实验。

比较方法

一期模型网格参考解、CE2012 辅助收入冲击基准，以及同校准下的品味冲击/logit 基准。

评估指标

政策函数贴合度、债券价格与利差曲线、平均利差、利差标准差、债务产出比、违约频率及消费/利差与产出的相关性。

其他设置

温度按预设进度退火，sigmoid 激活保证连续政策位于可行域；软训练目标与硬评估严格分离。

验证路径

这项工作意味着什么？

主要贡献

1. 把训练所需的数学平滑与经济体的结构原语解耦。
2. 提供无需全局动作网格的连续行动 DCDC 求解架构。
3. 量化永久平滑装置对违约边界和模拟矩的影响。
4. 建立从一期机制验证到长期债务硬评估的证据链。

总结

该工作提出软到硬深度强化学习求解器，通过“训练时软、评估时硬”的温度退火设计解决 DCDC 模型在硬切换处的梯度消失问题，并在不引入永久性品味冲击、辅助收入冲击或随机到期假设的前提下求解原始主权违约经济。它消除了全局动作网格搜索，也量化了传统平滑装置导致的解偏移，为违约时机、利差和福利计算敏感的数量经济学问题提供了一条新的计算路径。