人工智能公司承诺在“语音克隆”工具以使名人说糟糕的话之后进行更改

在今天可能出了什么问题的情节中:AI版 ,一家使用人工智能来模仿声音的科技公司正在为其技术添加更多的“保障措施 ”,因为它被用来生成名人阅读进攻内容的名人的剪辑。

Elevenlabs是一家专门从事AI语音软件的研究公司,以任何语言的旁白有声读物 ,游戏和文章来生成逼真的声音 。它的一种工具称为语音实验室,可以通过简单地上传一分钟的剪辑来使用户“克隆”声音。从那里,您可以使用克隆的语音使用其文本对语音功能来读取多达2500个字符。我知道你在想什么:有 方式 任何人都可以通过上传别人的声音来利用此系统 ,对吗?

输入4chan 。4chan海报使用该应用程序来生成名人的声音片段,说种族主义,同性恋和其他进攻性信息 ,然后在网上传播。我不会在这里链接它们 ,但是最广泛地流传的片段包括艾玛·沃特森(Emma Watson)阅读了阿道夫·希特勒(Adolf Hitler)的梅因·坎普(Mein Kampf)和乔·拜登(Joe Biden)的摘录,宣布美国将派遣部队派遣乌克兰。

Elvenlabs表示,它一直在采取措施 ,以防止语音实验室被用于“恶意目的”,并在冗长的Twitter线程中发布了如何将其技术从错误的手中排除在外 。

ElevenLabs声称“始终有能力将任何生成的音频剪辑追溯到特定用户。 ”下周,它将发布一种工具 ,该工具将使任何人都可以确认使用其技术生成剪辑并进行报告。

该公司表示,恶意内容是由“免费匿名帐户”创建的,因此它将添加新的身份验证层 。语音实验室仅在付费层上提供 ,并立即从其站点中删除免费版本 。Elevenlabs目前正在跟踪并禁止任何违反其政策造成有害内容的帐户。

Elevenlabs承认,将技术放在付费墙“不会总是防止滥用”的落后,但他说“确实使Voicelab用户不那么匿名 ,并迫使他们在共享不当内容之前三思而后行。 ”

但是,人们通常使用名人声音而不是自己的声音的问题呢?ElevenLab建议要求用户阅读样本提示,以在声音上训练AI ,而不是上传任何Ole Audio文件 。

免费帐户仍然能够使用文本到语音功能 ,但只有访问预制的声音才能使用。Elevenlabs表示,它将继续监控情况,所有受影响的帐户都将获得退款。

就在本周 ,Openai的首席执行官说,滥用AI可能是“对我们所有人的灯光” 。但是说真的,如果您给互联网给互联网说出任何声音 ,会发生什么?来吧,伙计们。