arXiv cs.SD RSS·· 3 小时前
Dyna2Music：面向舞蹈到音乐生成的结构化运动条件与音乐动态监督
Where the Body Keeps the Beat: Structured Motion Conditioning and Music Dynamics Supervision for Dance-to-Music Generation
摘要
研究者提出 Dyna2Music，一种潜在流匹配框架，将结构化运动条件与音乐潜在动态的显式监督相结合，用于舞蹈到音乐生成。该方法在 AIST++ 上分析空间划分与频率分离对节拍对齐和运动参考密度的影响，将关节速度分解为快慢分量并分层融合部位运动能量与预训练关节特征。其引入的潜在动态一致性（LDC）辅助目标无需额外可训练参数或推理计算，在 AIST++ 和 TikTok 上改善了节奏对齐与音频质量。
应来源方要求，这里只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv cs.SD RSS · arxiv.org