长序列预测

论文解决Transformer直接用于长序列时间预测时计算复杂度高、内存占用大和逐步解码低效的问题。Informer结合复杂度为O(L log L)的ProbSparse注意力、自注意力蒸馏和一次前向生成整段序列的解码器，以压缩长输入并提高推断速度。在四个大规模数据集上的实验显著优于既有方法，为电力等需要长预测窗口的任务提供了更高效的Transformer方案。