- 提出了基于Transformer架构的Hiformer模型，用于自动捕捉特征交互。 - Transformer架构在自然语言处理和计算机视觉等领域取得了巨大成功。 - Hiformer模型通过引入异构自注意力层来解决Transformer架构在自注意力层中无法捕捉异构特征交互的问题。 - Hiformer模型通过低秩逼近和模型修剪实现了快速推理，适用于在线部署。 - 在Google Play的实际应用中，Hiformer模型在关键参与度指标上取得了显著提升（高达+2.66%）。