SELECTED WORK / JACK CHENMusic, words
Music, words
& emotion
歌单里的情绪,来自歌词还是声音?
一项课程小组研究:利用歌词与音频信息,预测歌曲在不同情绪歌单中的标签支持度,并比较不同模型与融合方式。
查看研究方法Words. Sound. Emotion.
MUSIC × MACHINE LEARNING / 主题插画LYRICS + AUDIO
我们在预测什么
歌曲可以出现在不同情绪标签的歌单中。研究关注的是:歌词和音频信息能否帮助预测一首歌在这些歌单中的标签支持度。
某情绪标签支持度
= 该情绪歌单中的收录计数 ÷ 歌曲总收录计数
= 该情绪歌单中的收录计数 ÷ 歌曲总收录计数
这些标签可以重叠,各维度的支持度不要求加总为 1。它们描述数据中的歌单归类情况,不能直接解释为歌曲的客观情绪强度,或每一位听众的主观感受。
从单一信息到多模态
| 信息或方法 | 研究中的作用 |
|---|---|
| 歌词特征 | 从文本中提取用于预测的表示,考察歌词所提供的信息。 |
| 音频特征 | 从声音特征及其序列结构中提取预测信息。 |
| 线性 Sigmoid、MLP | 比较结构较简单的模型与非线性模型。 |
| CNN、GRU、LSTM | 探索局部特征和序列建模方式。 |
| 融合方法 | 考察结合歌词与音频,或组合不同预测结果的价值。 |
使用 Macro-RMSE 汇总不同标签维度的预测误差。解释结果时,需要同时考虑标签构造、数据分布和评估流程。
让评估对应研究问题
同一首歌的不同来源,或重复歌词与音频,都可能影响样本之间的独立性。项目围绕歌曲 ID、精确歌词或音频关联构建关联组;歌手和情绪标签不作为该分组的依据。
模型比较需要同时说明特征处理、训练与测试划分、调参过程和评价指标。本页介绍研究问题和方法,不将精简代码中的示例数字作为实验成绩。
这项工作的关注点:把标签的含义讲清楚,把比较方法说明白,并让模型结论保留可以被复核的边界。
NEXT EXPLORATIONCoffee Strategy Lab ↗
全部作品