音乐个性化推荐系统研究综述
谭学清, 何珊
武汉大学信息管理学院 武汉 430072
通讯作者: 何珊 E-mail:hezhaoge90@163.com

作者贡献声明:

谭学清: 对重要的学术内容进行补充, 论文审阅及定稿; 何珊: 提出论文研究思路, 设计研究方案, 收集分析相关文献, 论文写作。

摘要

【目的】对音乐推荐的研究概况进行调研和总结, 探讨其存在的问题, 提出相应的研究热点。【方法】采用文献分析法, 从推荐算法的角度简要介绍各个推荐策略, 着重根据音乐资源描述方式的不同对现有音乐推荐的相关文献进行归类总结。【结果】进一步提出运用粗糙集理论提取重要情境信息的方法, 将该类情境下的用户偏好与协同过滤推荐技术相结合实现基于情境感知的音乐推荐的新思路。【结论】现有研究中存在缺乏对用户行为和需求的系统研究、特征提取低层次以及评测指标单一问题。未来可以从群体音乐推荐、本体建模、移动环境下基于情境感知的音乐推荐等方面展开更深入的探讨。

关键词: 推荐系统; 音乐推荐; 元数据; 粗糙集; 情境感知
中图分类号:TP311
Research Review on Music Personalized Recommendation System
Tan Xueqing, He Shan
School of Information Management, Wuhan University, Wuhan 430072, China
Abstract

[Objective] The paper surveys and summaries the general situation of the research on music recom-mendation, discusses the existing problems, and proposes the corresponding research hot spot.[Methods] By using literature analysis method, the paper introduces each recommended strategy briefly from the angle of the recommendation algorithm, categorizes and summaries the articles mainly relating to music recommendation from different description perspectives of music resources.[Results] Further put forward new ideas by using rough set theory to extract the important context information, then combining user preferences under the context with collaborative filtering recommendation technology to realize music recommendation based on context-awareness.[Conclusions] There are some problems existing in the study, such as the lack of systematic research on user behavior and demand, low level of feature extraction and single evaluation index. The future development directions of music recommen-dation will be discussed deeply from the angle of group music recommendation, Ontology modeling and context-aware music recommendation in the mobile environment.

Keyword: Recommender system; Music recommendation; Metadata; Rough set; Context-awareness
1 引 言

随着移动网络和数字多媒体技术的飞速发展, 数字音乐已成为众多年轻人追捧的主流消费内容, 基于个性化的音乐推荐也随之成为推荐领域的一大研究热点。然而其产生的海量、庞大的异质音乐数据无疑超出了受众的基本需求和承受能力, 进而引发用户信息疲劳。因此, 如何借助音乐个性化推荐帮助用户在浩瀚的音乐库中快速、准确地获取自己感兴趣的音乐曲目变得越来越重要。

近年来, 音乐推荐技术受到了国内外学者的密切关注, 产生许多研究成果, 也出现很多知名的个性化音乐电台, 如国外的著名网站Pandora和Last.fm, 国内的SongTaste和豆瓣电台等, 但其推荐结果的准确率和覆盖率都较低, 缺乏个性化, 往往并不能令用户真正满意。同电影、阅读、图书等其他类型推荐内容相比, 音乐推荐具有独有特性。如跟踪用户的偏好主要是通过隐式的方式进行获取; 推荐曲目可以无限循环, 可只用于作为背景音乐; 播放歌曲类型与用户心情有着很强的关联; 曲目列表播放具有很强的灵活性, 可随机播放, 也可进行平滑切换等。这就要求音乐

个性化推荐系统能够根据听众的个人爱好和所处情境进行有效的反映与调整, 实现对听众不同需求的个性化推荐。因此, 音乐个性化推荐系统是比一般的推荐系统更加复杂的系统, 其需要综合考虑用户的需求, 结合多媒体领域的音频特征识别、语音处理等技术完成音乐特征的提取。以音乐推荐为研究对象是个性化推荐系统中一个特殊的领域, 具有较大的研究价值和实用意义。

2 音乐个性化推荐系统

图1 音乐推荐系统的典型模型

音乐个性化推荐系统通常由用户偏好模型、音乐资源描述和推荐算法三个部分组成[ 1], 如图1所示。其中, 音乐资源描述主要包括对音乐资源(歌曲、歌手、专辑等)的组织和管理, 通过定义不同级别的复杂度和抽象程度来构建音乐特征数据库, 为音乐推荐模型提供有效的输入数据。因此, 音乐资源是形成音乐推荐的基础和关键。Pachet[ 2]将音乐资源分为三类——声学元数据(Acoustic Metadata)、编辑元数据(Editorial Metadata)和文化元数据(Cultural Metadata)。

目前, 在音乐个性化推荐系统的相关研究中, 主要围绕推荐策略或其算法改进的角度来展开介绍, 忽视了推荐对象对推荐系统的重要影响。而音乐推荐具有的独特性和复杂性主要体现在音乐资源描述模块上, 其涉及到对音频文件的标注、终端用户的语义理解以及对分割音频的声学描述符的使用等, 这种音乐信息处理的特殊性对推荐系统提出了新的要求。因此, 本文首先从推荐算法的角度来简要介绍各种推荐策略及其优缺点, 如表1所示。然后将音乐资源描述作为主要切入点, 根据Pachet[ 2]对音乐资源的划分方法来对音乐个性化推荐系统的相关研究展开较详细的论述。

表1 音乐推荐方法归纳
2.1 基于声学元数据的音乐个性化推荐系统

声学元数据是指通过音频信号分析抽取歌曲的一些底层的声学特性。这些底层特征的提取需要对音频进行一系列的预处理, 如量化、反混叠滤波、预加重、加窗、傅里叶变换等。其中常用的音乐特征参数主要有: 频率中心、短时平均能量、过零率、梅尔频率倒谱系数MFCC、带宽[ 6, 7, 8, 9]等。

(1) 频率中心(Frequency Centroid)

频率中心是度量音频亮度的指标, 是频率在信号功率谱中的加权平均值。公式如下:

(1)

其中, 是经过傅里叶变换得到的帧频谱, , 是采样频率。

(2) 短时平均能量(Short-time Average Energy)

短时平均能量指在一个短时音频信号帧内其采样点信号所聚集的平均能量。公式如下:

(2)

其中, 为帧长, 即帧中采样点的总数, 是第 帧内第 个采样点的值, 是窗口函数, 长度为

(3) 过零率(Zero-crossing Rate)

过零率指在每帧中语音信号波通过零点的次数, 该特征量可以大概反映信号在短时音频信号帧内的平均频率, 其广泛用于高低频段的区分。公式如下:

(3)

其中, Si表示离散时间音频信号序列, 由于音乐信号一般比较平稳, 所以其过零率的变化相对较慢。 为符号函数, 公式如下:

(4)

(4) MFCC系数

MFCC系数指一段声音的短时功率谱, 主要用来描述声道或乐器的音色特征。计算MFCC参数的具体步骤如下:

①对输入音频信号分帧、加窗, 做傅立叶变换(FFT), 获得频谱分布信息。

②采用三角重叠窗口映射经过傅立叶变换获得的频谱能量到MEL刻度度。

③在每个梅尔刻度上提取能量的对数, 作离散余弦变换, 得到MFCC系数。

(5)

其中, N为三角滤波器个数, Xk为第k个滤波器的输出, Ci即为所求的MFCC参数, p是其阶数。

早期的音乐个性化推荐系统研究大多基于声学元数据, 如Cano等[ 10]运用音频指纹技术(Audio Finger-printing Technology)处理音乐的声学元数据, 根据音频旋律准确识别歌名、歌手、专辑名等信息。Pohle等[ 11]运用基于音频的方法度量歌曲之间的相似性, 对于每一段音频, 按照固定时间长度分割, 从而计算短时音频片段的MFCC系数, 并根据MFCC系数的分布, 采用高斯混合模型GMM表示一整首歌曲。Kuo等[ 12]开发了一个基于内容的音乐个性化推荐系统, 通过用户行为挖掘用户喜爱的歌曲, 并通过歌曲的节奏和旋律获取用户的偏好, 通过构造旋律偏好分类器实现音乐个性化推荐。Vignoli等[ 13]依据用户对音色、流派、节奏和情绪4个因素赋予的权重, 分别计算每个属性的相似度, 通过构造以权重系数和属性相似度为参数的多元函数计算歌曲相似度的混合距离, 从而实现个性化推荐。Sotiropoulos等[ 14]基于神经网络进行音乐内容的特征选择, 运用欧氏距离(Euclidean Distance)计算音乐的相似度。Shao等[ 15]利用音乐内容特征(如MFCC、短时傅里叶变换特性、过零率等)和用户访问模式, 提出一种新颖的动态音乐相似性度量策略, 通过音乐标签的传播方式进行歌曲的推荐。Bogdanov等[ 16]从音频样本中抽取声学特性, 利用基于内容过滤的推荐方法实现歌曲推荐。Aucou-turier等[ 17]将高斯分布(Gaussian Distribution)应用在每个轨道的MFCC向量上, 通过计算这些向量之间的距离估计两首歌的相似性。Donaldson[ 18]利用音乐信号的底层声学特性和基于项目的协同过滤关联网络的光谱图属性实现一个混合音乐推荐算法, 有效地提高了推荐结果的覆盖率和准确率, 产生更符合用户需求的音乐推荐。

在国内基于声学元数据推荐的相关研究中, 牛滨等[ 19]采用MFCC技术提取歌曲的语音特征, 利用三角带通滤波器组对傅立叶变换能量系数滤波得到Mel频率倒谱系数, 提出一种基于Mel频率倒谱系数(MFCC)和高斯混合模型(GMM)的音乐个性化推荐模型的建立方法。孔旭等[ 20]使用从声谱图中提取的特征矩阵表示音乐, 计算出查询片段与数据库音乐文件的相似度后, 返回前N个文件信息构成结果列表。刘亚多等[ 21]提出一种基于MDCT频谱熵的压缩域音频指纹算法。张燕等[ 22]构建了一个常规的音乐特征数据集, 基于分形理论对数据集进行属性约简, 定义一种新的相似度度量方法, 实现音频的归类和推荐, 提高了音乐个性化推荐系统网络开发的实际可用性。

基于声学元数据的音乐个性化推荐系统一般都采用基于内容过滤的推荐算法, 其核心在于如何进行特征提取并依据这些特征进行相似性度量。这些声学特性大部分都是在一帧一帧的基础上提取的, 然后总结所有帧的均值和方差, 这种方法虽具有一定的合理性, 但这些低层次的音频特征显然不足以反映音乐的本质, 其推荐结果与用户的真实要求还有很大距离, 缺乏实际可用性。除此之外, 由于受到音乐特征提取能力的限制较为严重, 且其特征维数较大, 算法的时间复杂度较高, 难以保证实时在线处理, 这些因素都导致基于声学元数据的音乐推荐不能充分得到应用与发展。

2.2 基于编辑元数据的音乐个性化推荐系统

编辑元数据是由领域专家对音乐所做的一些主客观描述或者采用一种协同模式, 由群体用户给出的定性描述数据。主要包括歌曲制作信息(如词曲作者、演唱者、年代、语言、所收录的专辑)、歌手背景、音乐类型、专家标注或评论等内容。其核心是建立音乐作品与其关联属性之间的适当链接, 将基本的组织原理应用于音乐资源。目前, 利用编辑元数据所建立的知名音乐数据库有AMG(All Music Guide)、CDDB (CD Database)、Musicbrainz等[ 23, 24, 25]

AMG数据库提供了专门的编辑元数据端口, 其中的描述内容不仅包含专辑标题、词曲人、歌词、歌手人物传记等事实性数据, 还包括音乐类型、专家评论等主观性编辑元数据。CDDB数据库也是一个协同编辑的音乐数据库, 其包含的专辑(Album)名称、演奏者(Artist)、出版年份(Year)、曲风(Genre)、每条音轨的标题(Title)等都是基于用户协同编辑产生的结果。MusicBrainz中的音乐元数据信息是通过挖掘用户信息建立的, 其在CDDB的基础上, 运用音频指纹技术实现元数据的获取, 为推荐系统的有效实施提供相关的歌曲、专辑和歌手的描述信息。

① 友播通过心理测试题的结果构建用户的心理学标签, 利用此标签发现用户对音乐的偏好倾向, 结合用户对歌手/歌曲的搜索结果, 生成个性化的音乐推荐电台。

目前, 基于编辑元数据的音乐推荐采取的是一种自上而下的音乐标注方式, 如国外的Pandora “音乐基因组计划”[ 26]、eMusic推荐系统等[ 27]、国内基于音乐推送机制的个性化电台系统友播, 都是利用专家编辑的元数据或专家评论实现音乐的推荐。Pachet等[ 28]通过构建一个包含语言(歌曲)、歌手的声音类型、主要乐器以及歌手之间的合作关系等编辑元数据类型的音乐人实体元数据库, 通过采用自动序列生成和相似性访问等算法实现编辑元数据的生成。Schedl等[ 29]建立了一个MusiClef数据集, 包括对歌曲、专辑、艺术家以及链接到其他数据集的MusicBrainz标识符等编辑元数据信息。Chen等[ 30]使用人工标注的元数据, 根据不同音乐流派类型估计两首歌的相似度。MoodLogic推荐系统[ 31]充分利用用户协同编辑的音乐标题等信息, 从MoodLogic数据库中获取相应的元数据, 将元数据和歌曲进行自动关联, 从而实现音乐的分类和推荐。Celma[ 32]将歌词、音乐类型、歌手采访记录、专辑评论等编辑元数据作为音乐信息描述的维度, 运用RDF站点摘要词表、好友的描述文件和用户的收听记录为用户推荐一些较新颖的音乐曲目。

以上基于编辑元数据进行推荐的相关研究, 其推荐结果具有较高的权威性和可信度, 可保证歌曲间平滑地进行切换, 也有效地提高了推荐的精准度。然而却缺乏个性化, 人力成本过高, 可扩展性较差, 与用户真正的音乐感知之间还是存在一定的差异。除此之外, 针对编辑元数据的组织也存在一些挑战。上述的这些音乐推荐系统虽然为电子音乐发布提供了便利的服务, 但其提供的信息仍不够完善, 专家组难以就一些主观的编辑信息达成一致的共识, 最典型的就是对音乐类型的分类问题。其次, 基于该元数据类型的推荐系统处理新对象时相对比较滞后。当出现新音乐时, 不能快速高效地组织其编辑元数据并将其纳入到音乐数据库中, 这也是基于编辑元数据的音乐个性化推荐系统所面临的另一大挑战。

2.3 基于文化元数据的音乐个性化推荐系统

音乐作为人类互相之间交流以及情感、个性表达的一种重要媒介, 其本身携带着人类情感、社会状态、地理特征、个人风格等信息。文化性元数据涉及到用户对音乐的主观感受, 是基于用户观点的一个聚合, 其产生主要受一定的环境和文化的影响。该数据主要来源于博客、论坛、音乐电台节目、网络音乐评论、百科等, 主要包括歌曲的流派、风格、所表现的情感、音乐评论、音乐标签等。

国外一些学者对利用文化元数据实现音乐推荐的研究开展得较早。Pachet等[ 33]首次提出从互联网上收集文化元数据的想法, 其潜在假设依据是用户往往倾向于把相似的音乐放在一起听, 从而使得音乐列表中相邻的歌曲之间具有一定的共性。随后, Cohen等[ 34]提出将过滤处理后的网页数据作为基于音乐列表的推荐引擎的数据基础。Whitman等[ 35]提出针对音乐推荐引擎中歌手的自由文本元信息进行显式处理的方法, 利用歌名、评论、歌手名等关键字过滤网页数据, 比较5个被推荐歌手和5个随机选择的歌手的相似度平均值, 并假定当5个被推荐歌手的平均值更高时, 则验证该系统能够较好地实现歌手的推荐。Baumann等[ 36]在Whitman等的基础上做了进一步的改进, 通过从HTML文档中获取歌曲的非结构化文本信息——文化元数据, 将其进行过滤和压缩处理, 并使用Whitman等提出的术语单独出现率(Single Occurrences of Terms)做词性标记, 采用TF-IDF方法对歌手权重进行加权计算, 实现推荐。Zadel等[ 37]利用Google和Amazon的编程接口生成基于文化元数据的相关歌手簇, 通过该数据确定歌手之间的关联性。Knees等[ 38]以网络数据为基础, 运用支持向量机对歌手进行分类。Kaji等[ 39]通过“喜欢”、“拒绝”或“重复听”等用户反馈实时修改各类音乐特征在特征空间中的基向量, 利用每个音乐特征加权余弦系数估算歌曲之间的相似性, 结合协同过滤算法、初始列表转换以及用户互动为特定情境下的用户生成音乐推荐列表。

以上这些文献基本上是通过网页获取文化元数据, 而另外一部分学者则是通过社交网络或者游戏等渠道获取元数据信息。如Mandel等[ 40]设计了一个用于收集音乐评论的网络游戏, 对评论元数据信息进行分析并抽取标签, 最终实现基于标签的音乐推荐。Olivier等[ 41]设计了一个用户标注游戏Music-Tagger, 两位游戏参与者组成一组, 各自收听一段音乐摘要, 然后双方通过描述自己所听的曲调, 并参照对方的描述, 判断彼此所听的歌曲是否是同一首, 猜对的越多得分越高, 通过这种游戏的方式, 系统可以获取到用户对音乐较准确的描述信息, 最终根据这些描述比较歌曲相似度, 实现歌曲的推荐。Baccigalupo等[ 42]利用两首歌曲同现频率表征其相关性, 建立一个社交网络电台Poolcasting, 使得推荐列表中的歌曲多样化, 且歌曲之间能够平滑地切换, 为用户提供个性化音乐推荐服务。Schedl等[ 43]通过收集几百万条微博抽取和统计音乐的相关信息, 利用4种基于同时出现率的方法(Co-occurrence Based Methods)计算歌手相似性。Tan等[ 44]提出利用音乐社交网络中对象之间的关系等社交媒体信息改进音乐推荐算法。

近年来, 音乐的文化元数据是许多基于标签的音乐个性化推荐系统的数据基础, 它们的普遍思想都是利用用户提供的社会标签对歌手或者歌曲之间的关联性进行综合评估。标签不仅反映了音乐本身的类别和内容特点, 而且还反映了用户对音乐的喜好, 具有较强的灵活性和开放性, 标签的标注频率更是很好地表达了用户偏好, 是文化元数据中的关键数据信息。Tso-Sutter等[ 45]将〈用户, 音乐, 标签〉三元组结构看作是一个三维结构, 然后通过降维将它转化为更简单的二维矩阵形式进行处理, 找出与歌曲强关联的语义标签表征歌曲的特性, 进而推荐相似的歌曲给用户。Nanopoulos等[ 46]用高阶张量构建了一个社会化标签数据模型, 从音乐风格、音乐所传达的情感、用户评论等多个方面对音乐对象进行描述, 利用高阶奇异值分解发现模型中潜在的结构, 提供符合特定用户偏好的音乐推荐服务。Kim[ 47]将标签按照文化元数据中的情感进行分类, 提出一种基于语义标签的音乐推荐方法。徐淮杰等[ 48]利用通过分析数据集得到语义词汇之间的强关联规则扩展表征歌曲典型特征的语义词汇集, 应用SVD算法对语义空间进行降维处理, 从而更加容易地找到代表歌曲的特征, 利用这些特征计算歌曲间的相似度, 产生推荐列表。

基于文化元数据的音乐推荐有以下三个突出优势:

(1) 为歌曲提供语义描述, 能够有效地缩小低层次音频特征与用户高层次的音乐理解之间语义鸿沟[ 49]

(2) 及时可用性。有效地规避基于编辑元数据的音乐个性化推荐系统的滞后性, 利用Web挖掘技术, 可以在新歌曲发布后, 迅速获取用户的显式评论。

(3) 具备一定的情境感知能力。与基于声学元数据的方式相比, 这种表示方式能够充分考虑动态变化的文化情境。

然而, 它也存在一定的问题。一方面, 文化元数据的获取要求存在大量较高黏性的用户; 另一方面, 易出现流行偏见, 使音乐长尾上的歌曲被听众所忽略。

3 音乐个性化推荐系统研究的热点
3.1 群体音乐推荐系统

虽然近年来音乐个性化推荐系统正在快速发展, 但目前大部分系统都只针对单个用户进行推荐, 而音乐作为一种情感表达和情感交流的重要方式, 具有显著的公众社会性[ 50, 51]。因此, 考虑建立一个适宜于公共环境的音乐推荐系统, 实现对群组用户的实时推荐服务将为音乐推荐提供新的研究思路。

近年来, 国内外学者针对群体音乐推荐系统展开了研究与探讨。如陈雅茜[ 52]提出一种结合投票机制和基于内容分析的DJ推荐模式的混合型群体音乐推荐系统, 用户利用手机等设备实时选择自己偏好的曲目, 系统结合歌曲的内容分析和语境分析生成音乐推荐列表。该系统可以在用户投票数较少的情况下, 保证群体音乐推荐的合理性和灵活性, 为群体用户提供较为满意的音乐推荐服务。Popescu等[ 53]构建了一个群体音乐推荐系统GroupFun, 该系统利用投票机制表达群体用户真正的音乐偏好, 采用概率加权和方法评估群体用户对被推荐歌曲的最终满意度。

通过对大量群体音乐推荐相关文献的分析和总结, 本文认为, 针对群体音乐推荐系统的研究主要需要解决以下三个问题:

(1) 需要考虑如何获取群组用户的音乐偏好, 是否应该制定一个符合群体推荐的偏好规范;

(2) 如何聚合不同用户的偏好和评分产生推荐。由于不同用户所喜好的音乐类型存在差异, 因此如何利用音乐类型之间潜在的关联关系实现歌曲之间平滑地切换, 也是产生群体推荐列表需要考虑的重要问题;

(3) 为实现群组内成员对推荐结果满意度和信任度的最大化, 系统应该具备提供推荐解释的功能, 提高群体推荐系统的透明度, 使推荐理由清晰明了, 从而增加群体用户的平均满意度。

3.2 本体建模

本体具有语义多重性的特点和出色的推理能力, 在众多情境智能系统中得到了广泛的应用。国外学者尝试用本体对音乐进行建模解决低层次音频特征和用户深层次音乐理解之间的语义鸿沟问题, 针对音乐推荐服务专门开发了音乐本体Music Ontology[ 54], 并在此基础上定义了与音乐相关的领域本体。Han等[ 55]采用本体推理机提供的分类服务对情境实例分类, 从而实现对用户的情绪和音乐偏好进行推理。Rho等[ 56]在原有的Music Ontology基础上拓展了一些特征, 提出一个新的基于情境的音乐推荐本体COMUS Ontology (Context-based Music Recommendation Ontology )。利用该本体来为音乐推荐提供规则推理, 通过用户指定的推理规则从相关的低层次情境中推理出高层次的概念情境信息。

由于文化背景、思维方式的不同, 针对西方音乐和听众的音乐本体对中文歌曲和基于中文歌曲的音乐感受并不适用。因此, 构建一个基于中文歌曲的音乐本体或者应用本体技术构建用户模型将成为一个重要的研究热点。

3.3 评测指标

目前, 大部分音乐个性化推荐系统都是通过均方根误差(RMSE)、平均绝对误差(MAE), 或者产生一个TopN推荐列表, 通过准确率(Precision)和召回率(Recall)度量推荐结果。然而, 不管是采用以上哪种度量方法, 其本质都是将预测准确度作为评测音乐个性化推荐系统的指标。因此, 如何解决当前系统普遍存在的评测指标过于单一的问题成为一个重要的研究热点。

针对这一问题, 可以考虑加入一些新的评测指标, 如新颖性(Novelty)[ 57]以及惊喜度(Serendipity)[ 58]等。通过最优化其中一个评测指标, 将其他指标转化为限制条件, 从而实现多指标综合评测, 达到推荐结果的最优化。如在原有音乐个性化推荐系统的基础上, 把用户试听或下载的音乐从推荐列表中过滤掉一部分实现新颖歌曲的推荐。又或者如Celma[ 59]提出利用推荐结果的平均流行度进行评测, 其基本思想是越处在流行度长尾尾部的音乐越可能让用户觉得新颖。假设S表示用户集合, 那么用户u的推荐列表的新颖性定义如下所示[ 60]:

(6)

其中, 是一个TopN函数, 表示把推荐列表中前20项推荐给用户 , 表示针对项目的偏好估分。

音乐推荐的惊喜度则是指推荐和用户以往偏好的歌曲不相似, 但是用户却觉得很满意的歌曲。如将John Lennon的歌曲推荐给一位披头士乐队的歌迷可能是准确且新颖的推荐, 但却不是一个能够给用户带来惊喜的推荐。所以, 如果推荐结果和用户过去的兴趣不相似, 但却让用户觉得满意, 那么就可以说这个推荐结果具有高惊喜度。通过Unserendipity来度量惊喜度[ 61, 62], 公式如下:

(7)

其中, 函数是比较用户历史兴趣 和新的推荐结果之间的平均相似度, 它的值越小, 则推荐结果与用户历史兴趣就越偏离, 推荐结果的惊喜度也就越高。

目前, 国外有学者已经对音乐个性化推荐系统的惊喜度进行了相关研究, 但是研究成果相对偏少。如Zhang等[ 63]提出一个Auralist推荐框架, 定量地评估准确性、惊喜度、新颖性、多样性4个评价指标, 降低准确性的权重, 平衡惊喜度、新颖性、多样性之间的权重, 研究结果显示强调惊喜度的Auralist音乐个性化推荐系统能够显著地提高推荐结果的用户满意度。

3.4 移动环境下基于情景感知的音乐个性化推荐系统

随着近年来智能移动终端以及LBS(Location Based Service)的普及, 用户通过移动终端请求音乐推荐服务成为一种新的趋势, 使得基于智能移动终端设备的音乐应用也日益受到关注。当前的音乐推荐系统主要是依赖静态的用户描述文件(User Profiles)来进行音乐推荐, 往往导致针对不同用户的推荐结果趋同, 缺乏个性化, 这种情况发生的主要原因是当前音乐个性化推荐系统都忽略了一个对用户音乐选择起着关键作用的影响因素, 即用户所处的情境(Context)[ 64], 主要包括用户访问推荐系统的时间、地点、心情、天气、当前活动等。当一个人心情愉快和身心疲惫时偏好的音乐类型肯定是不同的, 处于宁静的乡村和处于喧嚣的都市时, 对同一首歌的感受必然也是不同的。因此, 考虑用户在移动环境下的情境因素, 并根据这些特定的情境因素推荐音乐, 必将成为音乐推荐领域的一个热点课题。

目前, 针对此课题的研究主要集中在国外。如Wang等[ 65]利用手机作为传感器收集用户听音乐时的情境信息, 通过构建一个概率模型集成音乐内容分析和情境这两方面的信息, 从而为用户的日常活动提供基于情境感知的手机音乐推荐。Braunhofer等[ 66]提出一个基于位置感知的音乐推荐系统。首先分别为歌曲和名胜古迹标注情感标签, 然后通过对标签进行相似性度量来匹配歌曲和名胜古迹, 从而为游客在游览名胜古迹时推荐适合的歌曲。

与传统的音乐推荐服务不同, 移动环境下基于情景感知的音乐推荐服务是在移动终端上完成的, 由于当前移动设备的高度智能化以及强用户依赖性, 移动智能终端能够作为一个传感器实时捕捉用户听音乐时的情境信息, 获取大量实时现场数据集, 为音乐推荐奠定良好的数据基础。然而, 移动终端也存在一些与生俱来的缺陷, 如显示尺寸和处理能力有限等。此外, 将移动设备作为与音乐推荐系统的交互媒介, 还应该注意在保证信息合理性的同时保护用户的隐私。因此, 在实现移动环境下基于情景感知的音乐推荐系统时, 如何规避移动终端设备的缺陷, 取长补短, 提高用户体验, 增加用户粘度, 也成为音乐推荐系统的一大研究重点。

4 现有研究存在的主要问题
4.1 用户行为和需求分析问题

用户是音乐个性化推荐系统的主体, 其行为和需求直接影响着音乐推荐的结果, 而目前国内对于音乐用户行为和需求较系统的研究仍然较少。音乐推荐具有较强的主体依赖性, 其与用户本身对于音乐的鉴赏力以及爱好程度是密不可分的。不同类型的用户对于音乐的需求层次是不同的。因此, 在进行音乐推荐时, 应该对用户的行为和需求做深入的调研。

(1) 针对不同类型的听众, 需要使用不同的推荐策略和方法。针对专家型的音乐爱好者, 需采用更复杂、更具个性化的混合推荐方法。此外, 还应该给专家型用户提供更强的信任感以及更广泛的体验, 例如增加对推荐的解释; 通过多渠道的网络信息集成, 将所推荐歌曲的演唱者的背景介绍、歌手相关新闻、演唱会信息、最新歌曲或专辑发布等资讯呈现给用户。而对于随意型用户来说, 流行度TopN的歌曲推荐基本上就可以满足他们的需求。

(2) 充分利用用户的社交行为。跟踪用户在社交网络上的活动可以更好地获取用户的需求, 推测用户的偏好。单个用户描述文件(User Profiles)可以通过考虑用户与网络社区好友的互动得到扩展, 如好友之间的音乐推荐、分享或收藏等。

4.2 特征提取与选择问题

音乐的情感是通过其基本特征体现出来的, 但是目前被音乐个性化推荐系统所广泛使用的如节奏、频率、MFCC系数等低层次音频特征仍不足以充分反映音乐情感的本质。因此, 如何提取出更能揭示音乐现象本质的高层次音频特征, 缩小低层次音频内容特征与用户高层次的音乐理解之间的语义鸿沟, 提高基于声学元数据的音乐个性化推荐系统的推荐准确率是一个亟待解决的问题。

此外, 由于MIDI音乐格式记录了歌曲的全部乐谱信息, 较容易提取出音乐的基本特征, 所以现有的音乐个性化推荐系统中的特征提取工作基本上都是基于MIDI格式的。然而针对主流的音乐MP3格式的研究较少, 导致对MIDI格式的强烈依赖性, 严重制约这些特征提取方法的应用。因此, 针对采用一般音频格式(如mp3, wma, aiff等)的大量音乐数据进行乐谱自动识别以及音乐特征提取也是一个需要进一步深入研究的问题。

5 结 语

本文从音乐资源描述的角度对当前音乐推荐研究成果进行较为全面的综述, 指出当前研究中存在缺乏对用户行为和需求的系统研究、特征提取低层次以及评测指标单一的问题, 同时, 认为可以从群体音乐推荐、本体建模、移动环境下基于情境感知的音乐推荐等方面展开进一步的研究与探讨。其中, 基于情境感知的音乐推荐系统更是受到国内外学者的普遍关注, 情境被认为是音乐个性化推荐系统中的一个重要因素。然而在当前的音乐个性化推荐系统中, 基本上赋予给所有情境因素的权重都是一样的。显然, 不论是从现实角度还是从推荐结果的准确性角度, 这种权重等分的做法都是不合理的, 在很大程度上降低推荐结果的准确性。因此, 下一步研究的思路是通过粗糙集理论对情境进行属性约简, 计算不同情境属性对于音乐推荐的权重, 抽取对音乐推荐影响力较大的属性(如心情、当前在进行的活动、天气等), 然后将其融入到协同过滤的推荐算法中, 通过重要情境相似度计算、歌曲相似度计算, 为特定情境下的用户产生音乐推荐列表, 实现基于情境感知的音乐推荐。

参考文献
[1] Campbel M E, Clune Iii J E, Hicken W T, et al. Music Recommendation System and Method: USA, WO 2005038666 A1[P]. 2004-08-13. [本文引用:1]
[2] Pachet F. Knowledge Management and Musical Metadata [A]//Schwartz D. Encyclopedia of Knowledge Management [M]. Idea Group, 2005. [本文引用:2]
[3] Shardanand U, Maes P. Social Information Filtering: Algorithms for Automating “Word of Mouth”[C]. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York, USA: ACM, 1995: 210-217. [本文引用:1]
[4] Lee S. A Generic Graph-Based Multidimensional Recommen-da-tion Framework and Its Implementations[C]. In: Proceedings of the 21st International Conference Companion on World Wide Web. ACM, 2012: 161-166. [本文引用:1]
[5] Yoshii K, Goto M, Komatani K, et al. Hybrid Collaborative and Content-Based Music Recommendation Using Probabilistic Model with Latent User Preferences [C]. In: Proceedings of the International Conference on Music Information Retrieval. 2006. [本文引用:1]
[6] Liu Z, Wang Y, Chen T. Audio Feature Extraction and Analysis for Scene Segmentation and Classification[J]. Journal of VLSI Signal Processing Systems for Signal, Image and Video Technology, 1998, 20(1-2): 61-79. [本文引用:1]
[7] Li S Z. Content-Based Audio Classification and Retrieval Using the Nearest Feature Line Method[J]. IEEE Transactions on Speech and Audio Processing, 2000, 8(5): 619-625. [本文引用:1]
[8] Gouyon F, Pachet F, Delerue O. On the Use of Zero-Crossing Rate for an Application of Classification of Percussive Sounds[C]. In: Proceedings of the COST-G6 Conference on Digital Audio Effects(DAFX-00), Verona, Italy. 2000. [本文引用:1]
[9] 王金明, 张雄伟. 话者识别系统中语音特征参数的研究与仿真[J]. 系统仿真学报, 2003, 15(9): 1276-1278.
Wang Jinming, Zhang Xiongwei. Study and Simulation of the Acoustic Features in Speaker Recognition System[J]. Journal of System Simulation, 2003, 15(9): 1276-1278. [本文引用:1]
[10] Cano P, Koppenberger M, Wack N. An Industrial-Strength Content-Based Music Recommendation System [C]. In: Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2005: 673. [本文引用:1]
[11] Pohle T, Pampalk E, Widmer G. Generating Similarity-Based Playlists Using Traveling Salesman Algorithms [C]. In: Proceedings of the 8th International Conference on Digital Audio Effects (DAFx-05). 2005: 220-225. [本文引用:1]
[12] Kuo F F, Shan M K. A Personalized Music Filtering System Based on Melody Style Classification [C]. In: Proceedings of the 2002 IEEE International Conference on Data Mining. IEEE Conference Publication, 2002: 649-652. [本文引用:1]
[13] Vignoli F, Pauws S. A Music Retrieval System Based on User-Driven Similarity and Its Evaluation[C]. In: Proceedings of International Symposium on Music Information Retrieval. 2005: 272-279. [本文引用:1]
[14] Sotiropoulos D N, Lampropoulos A S, Tsihrintzis G A. MUSIPER: A System for Modeling Music Similarity Perception Based on Objective Feature Subset Selection[J]. User Modeling User-Adapted Interaction, 2008, 18(4): 315-348. [本文引用:1]
[15] Shao B, Wang D, Li T, et al. Music Recommendation Based on Acoustic Features and User Access Patterns[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2009, 17(8): 1602-1611. [本文引用:1]
[16] Bogdanov D, Haro M, Fuhrmann F, et al. Semantic Audio Content-Based Music Recommendation and Visualization Based on User Preference Examples[J]. Information Processing and Management, 2013, 49(1): 13-33. [本文引用:1]
[17] Aucouturier J J, Pachet F. Music Similarity Measures: What’s the Use?[C]. In: Proceedings of the 3rd International Conference on Music Information Retrieval (IS-MIR2002). 2002: 157-163. [本文引用:1]
[18] Donaldson J. A Hybrid Social-Acoustic Recommendation System for Popular Music[C]. In: Proceedings of the 2007 ACM Conference on Recommender Systems. ACM, 2007: 187-190. [本文引用:1]
[19] 牛滨, 孔令志, 罗森林, . 基于 MFCC 和 GMM 的个性音乐推荐模型[J]. 北京理工大学学报, 2009, 29(4): 351-355.
Niu Bin, Kong Lingzhi, Luo Senlin, et al. Individuality Music Recommendation Model Based on MFCC and GMM[J]. Transactions of Beijing Institute of Technology, 2009, 29(4): 351-355. [本文引用:1]
[20] 孔旭, 关佶红. 以声谱图相似度为度量的波形音乐检索[J]. 计算机工程与应用, 2009, 45(13): 136-141.
Kong Xu, Guan Jihong. Audio Format Music Retrieval Based on Spectrogram Similarity[J]. Computer Engineering and Applications, 2009, 45(13): 136-141. [本文引用:1]
[21] 刘亚多, 李伟, 李晓强, . 压缩域鲁棒音乐指纹算法研究[J]. 电子学报, 2010, 38(5): 1172-1176.
Li Yaduo, Li Wei, Li Xiaoqiang, et al. A Robust Compressed-Domain Music Fingerprinting Technique Based on MDCT Spectral Entropy[J]. Acta Electronica Sinica, 2010, 38(5): 1172-1176. [本文引用:1]
[22] 张燕, 唐振民, 李燕萍. 面向推荐系统的音乐特征抽取[J]. 计算机工程与应用, 2011, 47(5): 130-133.
Zhang Yan, Tang Zhenmin, Li Yanping. Music Feature Extraction Method for Recommendation System[J]. Computer Engineering and Applications, 2011, 47(5): 130-133. [本文引用:1]
[23] Lee J H, Downie J S. Survey of Music Information Needs, Uses, and Seeking Behaviours: Preliminary Findings [C]. In: Proceedings of the International Society for Music Information Retrieval. 2004: 441-446. [本文引用:1]
[24] Datta D. Managing Metadata [C]. In: Proceedings of the International Conference on Music Information Retrieval. 2002. [本文引用:1]
[25] Swartz A. MusicBrainz: A Semantic Web Service[J]. IEEE Intelligent Systems, 2002, 17(1): 76-77. [本文引用:1]
[26] Joyce J. Pand ora and the Music Genome Project[J]. Scientific Computing, 2006, 23(10): 40-41. [本文引用:1]
[27] Anderson N. Making Money Selling Music Without DRM: The Rise of eMusic [EB/OL]. (2006-09-04). [2014-02-12]. http://arstechnica.com/gadgets/2006/05/emusic/. [本文引用:1]
[28] Pachet F, Burthe A L, Zils A, et al. Popular Music Access: The Sony Music Browser[J]. Journal of the American Society for Information Science and Technology, 2004, 55(12): 1037-1044. [本文引用:1]
[29] Schedl M, Liem C C S, Peeters G, et al. A Professionally Annotated and Enriched Multimodal Data Set on Popular Music[C]. In: Proceedings of the 4th ACM Multimedia Systems Conference. ACM, 2013: 78-83. [本文引用:1]
[30] Chen H C, Chen A L P. A Music Recommendation System Based on Music Data Grouping and User Interests [C]. In: Proceedings of the 10th ACM CIKM International Conference on Information and Knowledge Management. 2001, 1: 231-238. [本文引用:1]
[31] Pachet F, Aucouturier J J, Burthe A L, et al. The Cuidado Music Browser: An End-to-End Electronic Music Distribution System[J]. Multimedia Tools and Applications, 2006, 33(1): 331-349. [本文引用:1]
[32] Celma Ò. Foafing the Music: Bridging the Semantic Gap in Music Recommendation[A]//The Semantic Web-ISWC 2006 [C]. Springer Berlin Heidelberg, 2006: 927-934. [本文引用:1]
[33] Pachet F, Westermann G, Laigre D. Musical Data Mining for Electronic Music Distribution [C]. In: Proceedings of the 1st International Conference on Web Delivering of Music, 2001: 101-106. [本文引用:1]
[34] Cohen W W, Fan W. Web-Collaborative Filtering: Recomme-n-ding Music by Crawling the Web[J]. Computer Networks, 2000, 33(1): 685-698. [本文引用:1]
[35] Whitman B, Lawrence S. Inferring Descriptions and Similarity for Music from Community Metadata [C]. In: Proceedings of the 2002 International Computer Music Conference, 2002: 591-598. [本文引用:1]
[36] Baumann S, Hummel O. Enhancing Music Recommendation Algorithms Using Cultural Metadata[J]. Journal of New Music Research, 2005, 34(2): 161-172. [本文引用:1]
[37] Zadel M, Fujinaga I. Web Services for Music Information Retrieval [C]. In: Proceedings of the 5th International Conference on Music Information Retrieval. 2004. [本文引用:1]
[38] Knees P, Pampalk E, Widmer G. Artist Classification with Web-Based Data [C]. In: Proceedings of the 5th International Symposium on Music Information Retrieval. 2004. [本文引用:1]
[39] Kaji K, Hirata K, Nagao K. A Music Recommendation System Based on Annotations about Listeners’ Preferences and Situations [C]. In: Proceedings of the 1st International Confernce on Automated Production of Cross Media Content for Multi-Channel Distribution. 2005. [本文引用:1]
[40] Mand el M, Ellis D. A Web-Based Game for Collecting Music Metadata[J]. Journal of New Music Research, 2008, 37(2): 151-165. [本文引用:1]
[41] Olivier H, Waselewsky M, Pinkwart N. MusicTagger: Exploiting User Generated Game Data for Music Recommendation [A]// Human-Computer Interaction. Users and Applications [M]. Springer Berlin Heidelberg, 2011: 678-687. [本文引用:1]
[42] Baccigalupo C, Plaza E. Poolcasting: A Social Web Radio Architecture for Group Customisation [C]. In: Proceedings of the 3rd International Conference on Automated Production of Cross Media Content for Multi-Channel Distribution. IEEE Computer Society, 2007: 115-122. [本文引用:1]
[43] Schedl M, Hauger D. Mining Microblogs to Infer Music Artist Similarity and Cultural Listening Patterns [C]. In: Proceedings of the 4th International Workshop on Advances in Music Information Research. 2012: 877-886. [本文引用:1]
[44] Tan S, Bu J, Chen C, et al. Using Rich Social Media Information for Music Recommendation via Hypergraph Model [A]// Social Media Modeling and Computing [M]. London: Springer, 2011: 213-237. [本文引用:1]
[45] Tso-Sutter K H L, Marinho L B, Thieme L S. Tag-Aware Recommender Systems by Fusion of Collaborative Filtering Algorithms [C]. In: Proceedings of the 2008 ACM Symposium on Applied Computing. ACM, 2008: 1995-1999. [本文引用:1]
[46] Nanopoulos A, Rafailidis D, Symeonidis P, et al. MusicBox: Personalized Music Recommendation Based on Cubic Analysis of Social Tags[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2010, 18(2): 407-412. [本文引用:1]
[47] Kim H H. A Semantically Enhanced Tag-Based Music Recommendation Using Emotion Ontology [A]// Intelligent Information and Database Systems [M]. Springer Berlin Heidelberg, 2013: 119-128. [本文引用:1]
[48] 徐淮杰, 张二芬. 基于关联规则与奇异值分解的音乐推荐系统[J]. 电子设计工程, 2013, 21(1): 17-19.
Xu Huaijie, Zhang Erfen. Music Recommender System Based on Association Rules and Singular Value Decomposition[J]. Electronic Design Engineering, 2013, 21(1): 17-19. [本文引用:1]
[49] Baumann S, Hummel O. Using Cultural Metadata for Artist Recommendations [C]. In: Proceedings of the 3rd International Conference on Web Delivering of Music. 2003: 138-141. [本文引用:1]
[50] Crossen A, Budzik J, Hammond K J. Flytrap: Intelligent Group Music Recommendation [C]. In: Proceedings of the 7th International Conference on Intelligent User Interfaces. ACM, 2002: 184-185. [本文引用:1]
[51] Jameson A, Smyth B. Recommendation to Groups[A]//The Adaptive Web [M]. Springer Berlin Heidelberg, 2007: 596-627. [本文引用:1]
[52] 陈雅茜. 公共环境下的混合型音乐推荐系统的关键技术研究[J]. 计算机应用研究, 2012, 29(11): 4250-4253.
Chen Yaxi. Hybrid Music Recommender System in Public Environment[J]. Application Research of Computers, 2012, 29(11): 4250-4253. [本文引用:1]
[53] Popescu G, Pu P. What’s the Best Music You Have?: Designing Music Recommendation for Group Enjoyment in GroupFun [C]. In: Proceedings of the 2012 ACM Annual Conference Extended Abstract on Human Factors in Computing Systems Extended Abstract. ACM, 2012: 1673-1678. [本文引用:1]
[54] Raimond Y, Abdallah A S, Sand ler M, et al. The Music Ontology [C]. In: Proceedings of the 8th International Conference on Music Information Retrieval. 2007: 417-422. [本文引用:1]
[55] Han B J, Rho S, Jun S, et al. Music Emotion Classification and Context-Based Music Recommendation[J]. Multimedia Tools and Applications, 2010, 47(3): 433-460. [本文引用:1]
[56] Rho S, Song S, Hwang E, et al. COMUS: Ontological and Rule-Based Reasoning for Music Recommendation System [A]//Advances in Knowledge Discovery and Data Mining [M]. Springer Berlin Heidelberg, 2009: 859-866. [本文引用:1]
[57] Zhou T, Kuscsik Z, Liu J G, et al. Solving the Apparent Diversity-Accuracy Dilemma of Recommender Systems[J]. Proceedings of the National Academy of Sciences of the United State of America, 2010, 107(10): 4511-4515. [本文引用:1]
[58] Shani G, Gunawardana A. Evaluating Recommendation Systems [A]// Recommender Systems Hand book [M]. Springer US, 2011: 257-297. [本文引用:1]
[59] Celma Ò. Music Recommendation [A]// Music Recommen-dation and Discovery [M]. Springer Berlin Heidelberg, 2010: 43-85. [本文引用:1]
[60] Hurley N, Zhang M. Novelty and Diversity in Top-N Recommendation—Analysis and Evaluation[J]. ACM Transactions on Internet Technology, 2011, 10(4): Article No. 14. [本文引用:1]
[61] Murakami T, Mori K, Orihara R. Metrics for Evaluating the Serendipity of Recommendation Lists [A]// New Frontiers in Artificial Intelligence [M]. Springer Berlin Heidelberg, 2008: 40-46. [本文引用:1]
[62] Murakami T, Mori K, Orihara R. A Method to Enhance Serendipity in Recommendation and Its Evaluation[J]. Transactions of the Japanese Society for Artificial Intelligence, 2009, 24(5): 428-436. [本文引用:1]
[63] Zhang Y C, Séaghdha D Ó, Quercia D, et al. Auralist: Introducing Serendipity into Music Recommendation [C]. In: Proceedings of the 5th ACM International Conference on Web Search and Data Mining. ACM, 2012: 13-22. [本文引用:1]
[64] Adomavicius G, Tuzhilin A. Context-Aware Recommender Systems [A]// Recommender Systems Hand book [M]. Springer US, 2011: 217-253. [本文引用:1]
[65] Wang X, Rosenblum D, Wang Y. Context-Aware Mobile Music Recommendation for Daily Activities [C]. In: Proceedings of the 20th ACM International Conference on Multimedia. ACM, 2012: 99-108. [本文引用:1]
[66] Braunhofer M, Kaminskas M, Ricci F. Location-Aware Music Recommendation[J]. International Journal of Multimedia Information Retrieval, 2013, 2(1): 31-44. [本文引用:1]