中年自动化所提出基于类脑脉冲神经网络的音乐记忆与激活模型( 二 )


梁倩说 , 我们通过331首古典钢琴曲对模型进行实验测试 , 每首乐曲为MIDI格式 , 模型对每首乐曲进行编码与记忆 , 如下图所示 , 每首乐曲包含多个声部(音轨) , 每个音轨拥有不同数量的音符 。
中年自动化所提出基于类脑脉冲神经网络的音乐记忆与激活模型
本文插图
实验表明 , 网络不仅能够只通过乐曲名就可回忆出整首乐曲 , 还能仅通过一个小片段 , 精确地回忆起相应的乐曲 。
中年自动化所提出基于类脑脉冲神经网络的音乐记忆与激活模型
本文插图
如上图所示 , 图中(A)(B)表明 , 无论是根据乐曲名还是音乐片段 , 网络能都较精确地回忆出整首乐曲 , 图(C)(D)表明 , 回忆乐曲的速度会随着纹状体神经元的活动变化而随之改变 。
曾毅研究员介绍:“兴趣很重要 , 类脑脉冲神经网络和音乐的结合3年前我们开始动手做的时候正是出于我的博士生梁倩和我个人对音乐的喜好 。 音乐记忆是通过类脑神经网络实现音乐学习甚至是创作的基础 , 音乐学习的脑机制还有很多尚不清晰 , 据其启发的类脑脉冲神经网络模型也就还有大量有趣的、值得研究的问题等待挖掘 , 例如从记忆到理解 。 我们目前正在进行的研究是基于类脑机制的音乐创作 , 这是更大的挑战 , 但也是更激动人心的探索 。 此外 , 这个网络并不仅仅可以用于音乐的学习与记忆 , 还可以拓展到机器人序列学习等领域的应用 , 实际上这个模型最初版本的应用我的博士生梁倩就是在机器人动作序列学习上展开的 , 想到应用于音乐的学习与创作 , 我们都非常兴奋并会一直做下去 。 希望这样的努力使我们离实现真正“结构机制类脑 , 认知行为类人”的类脑智能可以又迈进一步” 。
https://www.frontiersin.org/articles/10.3389/fncom.2020.00051/full
【中年自动化所提出基于类脑脉冲神经网络的音乐记忆与激活模型】


推荐阅读