恐怖谷:开辟音乐创意新时代

2021年9月

凯瑟琳·朱厄尔,产权组织信息和数字外联司

2010年,澳大利亚歌手/作曲家查尔顿·希尔和音乐技术专家贾斯廷·谢夫联合成立恐怖谷公司,这是一家位于悉尼的先进技术企业,身处音乐产业最前沿。查尔顿·希尔同时主管恐怖谷公司的创新工作,他介绍了该公司利用人工智能实现音乐制作加速和民主化、改变音乐制作现状的雄心壮志。2020年,恐怖谷公司及同事卡罗琳·佩格勒姆组成的澳大利亚队赢得首届欧洲电视网人工智能歌唱大赛冠军。

2019年恐怖谷公司与谷歌创意实验室和澳大利亚的新晋艺人合作进行实验,利用机器学习开发了一些可以在歌曲创作过程中使用的先进工具。(图:Courtesy of Google Creative Lab, Sydney, Australia)

一般而言,恐怖谷会让人们联想到面对不完全属于人类的事物时感到的焦虑不安。为何给自己的公司取名恐怖谷?

想到这个名字的是公司联合创始人贾斯廷·谢夫。仔细考虑其含义后,我承认这一事实:在这个我们两人都熟知的行业中,本公司注定是一家先进音乐技术企业。

(图:Courtesy of Uncanny Valley)

贾斯廷是一位受过古典音乐训练的钢琴家,也是具有计算机科学背景的音乐技术专家,而我是一名作曲家兼歌手。我们都对创新兴趣浓厚。2010年公司成立时,音乐行业风云变幻,所以与一位具有前瞻思维的伙伴合作顺理成章。我们选择合作方时一直采取开放态度,并不局限于传统意义上的音乐人和制作人。我想公司的发展道路符合恐怖谷这个名字。可以说,我们正在努力超越音乐领域的恐怖谷地带,这可能是这个时代最有趣的挑战之一。

请介绍一下公司的业务模式。

我们有两个收入来源。一个来源是创作原创音乐或重新编曲混音(即选择一首获得许可的现有歌曲,另请歌手重新创作)的佣金,另一个是这些节目播出时我们收到的版税。我们在澳大利亚参与了各种项目的工作,比如需要大量配乐的澳版幸存者节目。这些收入支撑公司日常运营,为我们更先进的人工智能和机器学习事业提供资金。

请介绍一下贵公司在增强创意方面的工作。

非常振奋人心。工作从2019年正式开始,当时我们与谷歌创意实验室和澳大利亚的新晋艺人合作进行实验,利用机器学习开发了一些可以在歌曲创作过程中使用的先进工具。艺人们在设计阶段的反馈极有价值。

总的来说,这段经历令他们感到愉快,但如果觉得这些工具碍事,他们也相当直言不讳。例如我们的AD LIBBER应用程序,其设计用途是激发歌词灵感,受到一位创作歌词遇到困难的艺人欢迎,但另一位擅长写词的艺人却对它不感兴趣。还有一个名为Demo Memo的应用程序在艺人们哼唱或用口哨吹出一段旋律后可以转用自己选择的乐器演奏出来,从而大大加快了制作小样的过程。他们都很喜欢这个程序。

这次实验是一个很好的机会,各种概念可以随意尝试。我们继续通过公司的音乐引擎MEMU来发展这些概念,MEMU体现了公司研究工作持续积累的成果。通过MEMU的架构,相信我们可以破解音乐和情感量化的问题。

MEMU为音乐人提供机会,让他们的音乐可以借助不同的情感模式和媒介表现出来。

您能再详细解释一下吗?

我们关注的是理解和量化音乐引发的情感反应以及创作旋律和歌曲的相关过程。这并不是要破解创作金曲的公式;而是更进一步。我们正在探索独特的歌词、旋律以及和弦序进的碰撞组合以及听众的感受,从而更好地理解一首音乐作品特有的印记。就好比是感到快乐/悲伤的时候向计算机解释这种心情。原理相当复杂。我们现在拥有的计算能力和智能可以分析某位艺术家所有作品的歌词和旋律,能产生新的创意,或许创意会变成新的歌曲或体现作者作品的发展方向,可谓令人震撼。

“MEMU这个强大的引擎可以对艺术家的作品进行实时混音和串烧。这真的非常令人兴奋。它预示着一个音乐制作的新时代,”查尔顿·希尔说。(图:Courtesy of Uncanny Valley)

请详细讲讲MEMU。

MEMU这个强大的引擎可以对艺术家的作品进行实时混音和串烧。这真的非常令人兴奋。它预示着一个音乐制作的新时代。我们视其为一个持续发展的生态系统,由供给方和合作方组成,能让艺术家脱颖而出,有能力了解自己作品播出的情况并从中获得报酬。MEMU理解无穷无尽的音乐流并实时混音的能力确实相当出众。

人们对MEMU的反响如何?

有些人觉得这很神奇,但担心我们会让音乐人失业。我们没有这种打算。我们认为MEMU是一个强大的引擎,通过加快制作过程,让成本趋于合理,从而带来民主之风。Spotify追求的是有史以来最好的歌单,而MEMU追求的则是有史以来最好的音乐产业格局。

贵公司这个软件是如何开发的?

过程很有意思,涉及数据科学家和创意技术专家,与音乐人、音乐制作人和范围更广的学术团队合作。

起初我们用自己的专有资料训练MEMU。然后我们尝试使用受版权保护的资料,但是为了避免不慎侵犯版权的风险,我们开始利用更广泛的用户社群的作品,包括唱片公司。这样我们得以反复试探版权和重新混音的概念。我们发现,反应程度与艺人名气成比例浮动。

当艺人们进入MEMU的世界,MEMU就得到允许用他们的作品做出一些精彩非凡的事情。MEMU跟踪记录每位艺人提交的微小作品及作品被利用的情况。这是确保艺术家获得报酬的有力途径。

必要时我们使用开源资料训练MEMU,但是公司一般情况下会开发自己的专有解决方案来创建MEMU的定制架构,原因很简单,因为我们需要的解决方案市面上没有。

“我们现在拥有的计算能力和智能可以分析某位艺术家所有作品[……],能产生新的创意[……]体现作者作品的发展方向,可谓令人震撼,”查尔顿·希尔说。(图:Courtesy of Uncanny Valley)

您能否介绍一下MEMU的不同频道?

MEMU可塑性强,现在拥有的频道多种多样,便于分出彼此隔绝的空间。例如,如果我们向某家唱片公司索要它旗下两位艺人即将发布的作品供MEMU混音,可以为这一合作项目创建一个封闭空间。

MEMU的不同频道为其架构内置。起初我们发布的是专属频道,让MEMU了解某些音乐类型、情感和爱奥利亚音乐调式,这些都是流行音乐的基础。我们可以借助这项发展迅速的技术改编收到的不同类型的作品。例如,MEMU可能会对正常情况属于放松音乐频道的作品进行加工,放入高能音乐频道。

我们正在努力加快音乐制作的过程,更好地追踪音乐作品,改善利用音乐的方式,并拓宽歌曲的概念,以便通过各种各样的方式欣赏歌曲。人工智能可以辅助实现这一广阔前景。

这对于音乐人有何帮助?

MEMU为音乐人提供机会,让他们的音乐可以借助不同的情感模式和媒介表现出来。期待脱颖而出的艺人会允许我们接触到他们的部分作品,让听众通过不同方式欣赏这些作品,引导人们重温他们的作品。哪个艺人会不希望自己的音乐在如此之多的优秀平台出现、用如此之多的精彩方式演绎?

MEMU也给音乐制作的过程带来民主之风。它有能力以我们过去从未真正见过的方式对音乐作品进行融汇再创作,给艺人带来酬劳。人们有一种荒谬的渴求,希望音乐能以各种新旧形式衬托内容。MEMU有助于满足这种需求。

Twitch等平台的经验表明,这个行业目前处于“不允许”模式。MEMU所代表的未来音乐模式则是“允许、吸引和回报”,这样所有人都是赢家,都能进步。

您认为人工智能对音乐人会有什么影响?

人工智能工具可以让艺人与业界互动的方式具备民主的特点,让他们能够从自己的作品中获得新的收入。我们以及其他同行正在开发的工具,旨在通过符合伦理道德、以艺人为中心的方式让进步和技术融为一体。

人工智能补充音乐人手头工具的不足,加快制作过程,让音乐人可以借助声音图表来表现自己,消除入门障碍。

我们正在努力加快音乐制作的过程,更好地追踪音乐作品,改善利用音乐的方式,并拓宽歌曲的概念,以便通过各种各样的方式欣赏歌曲。人工智能可以辅助实现这一广阔前景。

人工智能工具可以让艺人与业界互动的方式具备民主的特点,让他们能够从自己的作品中获得新的收入。

人工智能让没有途径接触音乐的人也能利用音乐这种表达方式。这或许是人工智能在音乐行业最令人兴奋的成就。

基于人工智能的工具是否能制作出真正动人的音乐?

能。人工智能当然可以辅助创作感动人类的歌曲,但这一过程始终会有人类参与。即使我们的工作以人类表演为蓝本,将其转化为数据,再用新的形式表现出来,但这并不是要重新创造一场人类表演。艺人虚拟化身或表演转换的概念早已成为现实。

我相信,人工智能会实现的目标之一是发挥人性的特点,让人们写出更好的音乐。

视频:2020年,恐怖谷公司使用欧洲电视网歌曲素材培训人工智能创作旋律和歌词,并邀请一名真正的制作人参与,混入澳大利亚的动物元素以及人声,最终赢得首届人工智能歌唱大赛冠军。获奖歌曲“绝美世界”唤起人们在去年席卷全国的毁灭性森林大火后对大自然焕发新生的希望。(预览照片:Courtesy of Uncanny Valley)

您认为哪些领域会率先接纳利用人工智能音乐?

实验艺术家涉足人工智能已经为时不短。人工智能正在稳步进入主流音乐。例如,Abbey Road公司最近通过人工智能音乐软件LifeScore与宾利公司合作推出车载音乐系统,使用车速和GPS位置等数据点。形势非常令人鼓舞。

归根结底,人类只不过是在寻找有趣、有益和有娱乐性的方式来参与生活。音乐是这个过程中的重要内容,而人工智能加快了音乐制作的过程。这就是我们利用人工智能的原因。人工智能肯定会增强人类的表现,但取代人类并不容易。

音乐技术产业越来越关注人工智能的原因是什么?

第一,害怕错过机会,第二,渴望纠正过去的错误。有一种想法是,人工智能的力量可以帮我们把事情做好,打开艺人按比例计酬的大门。

您希望版权制度如何演化?

有时,我们在版权方面有所反复,特别是在MEMU发展的早期阶段,但我们目前的想法是,“如果没出问题,”就一切照旧。所以我们会继续遵守规则,直到规则改变。

有没有哪个特别的领域您希望看到规则有所变化?

使用某位艺人的现有作品产生新的艺术作品或新的收入来源,我认为需要围绕这个概念有所作为,特别是考虑到目前技术如此擅长选择他人作品以有价值的方式加以利用。

归根结底,人类只不过是在寻找有趣、有益和有娱乐性的方式来参与生活。音乐是这个过程中的重要内容,而人工智能加快了音乐制作的过程。

我在这个问题上相当纠结,因为我觉得不能仅仅因为公司有这种技术能力,就忽然有权利拿到一位艺人的全部过往作品用于新的创作。也许另有方法——比如允许这种使用,作为交换条件应向支持有志音乐人的共享基金捐款。

公司未来有何计划?

从赢得人工智能歌唱大赛开始,我们给了自己一年时间证明公司能为音乐人和作曲家提供有效的工具。我们的工作引发大量关注,公司正在诚心寻找合适的合作方,希望开发的成果能够支持公司发展以及更广泛的音乐社群。在澳大利亚,我们正在协助建立该国首家音乐人工智能中心,召集学术界、商业伙伴、科学家和新晋艺人加入。

而MEMU的未来是创造新的音乐、激动人心的音乐,同时为艺人创造新的收入来源。如果能取得成功,我们将为艺人群体造就一个人工智能和音乐可以继续对话的集中化平台。

《WIPO杂志》旨在增进公众对知识产权和产权组织工作的理解,并非产权组织的官方文件。本出版物中所用的名称及材料的呈现方式,不意味着产权组织对于任何国家、领土或地区或其当局的法律地位,或者对于其边界或边界线的划分,表示任何意见。 本出版物不反映成员国或产权组织秘书处的观点。 提及具体公司或具体厂商的产品,不意味着它们得到产权组织的认可或推荐,认为其优于未被提及的其他类似性质的公司或产品。