機(jī)器學(xué)習(xí)驅(qū)動(dòng)著NSynth Super的新音樂聲

看看Magenta項(xiàng)目的人們一直在做什么。在創(chuàng)建NSynth算法之后，他們提出了一臺(tái)機(jī)器作為儀器，充當(dāng)NSynth算法的物理接口。

那么機(jī)器和算法是什么呢?

首先，Magenta是Google的一個(gè)項(xiàng)目。它專注于機(jī)器學(xué)習(xí)工具，幫助藝術(shù)家以新的方式創(chuàng)作藝術(shù)和音樂。他們忙于Google Creative Labs創(chuàng)建NSynth Super樂器。因此，現(xiàn)在音樂家可以使用NSynth算法從四種不同的源聲音生成的聲音來制作音樂。

NSynth Super有一個(gè)觸摸屏：你可以用手指拖動(dòng)來播放聲音。

(NSynth是“神經(jīng)合成器”的縮寫.NSynth使用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)聲音的特征，并根據(jù)特征創(chuàng)建新的聲音。)

谷歌周二發(fā)布了一個(gè)視頻，你可以看到并聽到該樂器在行動(dòng)。總部位于倫敦的制片人Hector Plimmer探索了NSynth機(jī)器學(xué)習(xí)算法產(chǎn)生的聲音。一世

NSynth Super可以通過任何MIDI源播放，如DAW，音序器或鍵盤。(DAW是數(shù)字音頻工作站.MIDI代表樂器數(shù)字接口。)

那么這個(gè)樂器如何實(shí)際工作呢?在一個(gè)實(shí)驗(yàn)中，在工作室中記錄了15個(gè)音高的16個(gè)原始聲源，然后輸入到NSynth算法中，以預(yù)先計(jì)算聲音。超過100,000個(gè)新聲音的輸出被加載到體驗(yàn)原型中。每個(gè)表盤都分配了4個(gè)源聲音。使用撥盤，音樂家可以選擇他們想要探索的源聲音，并將他們的手指拖過觸摸屏來導(dǎo)航結(jié)合4種聲源聲音質(zhì)量的聲音。

在DJ Mag，新聞被翻譯成“基于AI的新型觸摸屏硬件合成器”。觀眾被告知“NSynth Super使用新技術(shù)來結(jié)合聲音和紋理。”

DJ Mag的 Declan McGlynn 研究了這種方法的特殊之處。“NSynth將聲音解釋為數(shù)字，并在數(shù)學(xué)上生成一系列新的'數(shù)字'，然后再轉(zhuǎn)換回聲音。”

人們可能會(huì)抱怨這種方法只是混合聲音。SlashGear的克里斯戴維斯解釋了這些聲音的“新”：“簡而言之，它采用了不同聲音的核心方面，然后產(chǎn)生新的音色和動(dòng)態(tài)，這些音色很難 - 甚至不可能 - 用傳統(tǒng)的模擬或數(shù)字生成合成器“。

這是如何發(fā)揮作用的一些例子?McGlynn：“聽起來包括汽車發(fā)動(dòng)機(jī)與西塔琴相結(jié)合，低音聲音隨著雷聲變化等等。結(jié)果是真正獨(dú)特的輸出，新硬件允許用戶在彩色X / Y平板上的四種聲音之間移動(dòng)。 “

下一步是什么?這并不是說你可以走進(jìn)商店并在架子上找到它。盡管如此，代碼和設(shè)計(jì)文件都在GitHub上?？死锼勾骶S斯說，“谷歌也將NSynth Super作為一個(gè)開源項(xiàng)目發(fā)布。這不僅包括使用TensorFlow和openFrameworks的軟??件方面，還包括硬件的原理圖和設(shè)計(jì)模板。”

戴維斯補(bǔ)充說，你的NSynth Super在功能上應(yīng)該是相同的，即使它看起來不像谷歌那樣時(shí)尚，這取決于你需要花多少錢在材料上，以及你用來制作外殼的東西。

因此，NSynth Super原型的開源版本包括所有源代碼，原理圖和設(shè)計(jì)模板，可以在GitHub上下載。

GitHub的頁面說Touch接口是一個(gè)電容式傳感器，就像筆記本電腦上的鼠標(biāo)墊一樣，用于探索NSynth在您選擇的源音頻之間產(chǎn)生的新聲音。

GitHub的頁面說，電子產(chǎn)品的外殼可以用激光切割機(jī)制造，并與標(biāo)準(zhǔn)螺釘和配件一起固定。此設(shè)計(jì)可使用不同的材料，顏色，刻度盤和形狀進(jìn)行自定義。