OpenAI組建Superalignment團(tuán)隊(duì) 解決超級(jí)智能對(duì)齊問題

OpenAI于本周宣布，他們正組建一支名為Superalignment的人工智能對(duì)齊團(tuán)隊(duì)，旨在解決超級(jí)智能對(duì)齊問題。該團(tuán)隊(duì)的成立是OpenAI現(xiàn)有工作的補(bǔ)充，并將提升產(chǎn)品（如ChatGPT）的安全性。他們計(jì)劃在未來(lái)四年內(nèi)解決超級(jí)智能對(duì)齊問題。

超級(jí)智能被認(rèn)為將成為人類創(chuàng)造的最具影響力的技術(shù)之一，它可以幫助我們解決許多全球性難題。然而，超級(jí)智能的巨大威力也帶來(lái)了巨大的風(fēng)險(xiǎn)，可能導(dǎo)致人類失去對(duì)其的控制甚至面臨滅絕。雖然超級(jí)智能的實(shí)現(xiàn)離我們還有很長(zhǎng)的距離，但OpenAI認(rèn)為它有可能在未來(lái)十年內(nèi)實(shí)現(xiàn)。

目前，OpenAI還沒有明確的解決方案來(lái)引導(dǎo)或控制超級(jí)智能。現(xiàn)有的可控制人工智能技術(shù)，如基于人類反饋的強(qiáng)化學(xué)習(xí)和依賴于人類監(jiān)督的AI能力，都依賴于人類的監(jiān)督。然而，當(dāng)我們面對(duì)比我們聰明得多的AI系統(tǒng)時(shí)，人類無(wú)法可靠地進(jìn)行監(jiān)督。因此，我們目前的對(duì)齊技術(shù)無(wú)法擴(kuò)展到超級(jí)智能，需要新的科學(xué)技術(shù)突破。

為了解決超級(jí)智能對(duì)齊問題，OpenAI成立了Superalignment團(tuán)隊(duì)，由OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever和Jan Leike領(lǐng)導(dǎo)。該團(tuán)隊(duì)的成立不僅是對(duì)OpenAI現(xiàn)有工作的補(bǔ)充，還可以提升產(chǎn)品（如ChatGPT）的安全性，包括防止非法濫用、經(jīng)濟(jì)破壞、虛假信息、偏見和歧視、數(shù)據(jù)隱私等問題。

OpenAI預(yù)測(cè)，超級(jí)智能（即比人類更聰明的系統(tǒng)）可能在未來(lái)十年內(nèi)到來(lái)。為此，人類需要比目前更先進(jìn)的技術(shù)來(lái)控制超級(jí)智能。因此，他們計(jì)劃在所謂的"一致性研究"方面取得突破，該研究的重點(diǎn)是確保人工智能對(duì)人類的利益。為了支持這項(xiàng)工作，OpenAI將拿出未來(lái)四年獲得的算力的20%來(lái)解決AI失控的問題。

此外，OpenAI還計(jì)劃組建一個(gè)名為"超級(jí)一致性團(tuán)隊(duì)"的新團(tuán)隊(duì)，以組織這項(xiàng)工作。他們的目標(biāo)是建立一個(gè)由人類級(jí)別的AI研究人員組成的團(tuán)隊(duì)，并通過大量的計(jì)算能力進(jìn)行擴(kuò)展。OpenAI表示，這意味著他們將利用人類的反饋來(lái)訓(xùn)練AI系統(tǒng)，訓(xùn)練AI系統(tǒng)來(lái)輔助人類進(jìn)行評(píng)估，最終實(shí)現(xiàn)對(duì)超級(jí)智能的一致性研究。

OpenAI的方法包括開發(fā)可擴(kuò)展的訓(xùn)練方法，以應(yīng)對(duì)人類難以評(píng)估的任務(wù)，并利用人工智能系統(tǒng)來(lái)協(xié)助評(píng)估（即可擴(kuò)展的監(jiān)督）。此外，OpenAI還希望通過驗(yàn)證生成模型的一致性來(lái)確保系統(tǒng)的穩(wěn)定性，并對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測(cè)試，以確認(rèn)技術(shù)能夠檢測(cè)到最差的未對(duì)準(zhǔn)類型。

隨著對(duì)超級(jí)智能對(duì)齊問題的研究越來(lái)越深入，OpenAI預(yù)計(jì)研究重點(diǎn)將發(fā)生重大變化，并可能引發(fā)全新的研究領(lǐng)域的出現(xiàn)。

總的來(lái)說，OpenAI組建Superalignment團(tuán)隊(duì)是為了解決超級(jí)智能對(duì)齊問題，并提升產(chǎn)品的安全性。他們認(rèn)為在未來(lái)十年內(nèi)可能出現(xiàn)超級(jí)智能，并計(jì)劃通過研究一致性問題來(lái)確保超級(jí)智能對(duì)人類的利益。通過開發(fā)可擴(kuò)展的訓(xùn)練方法、驗(yàn)證生成模型的一致性以及對(duì)整個(gè)對(duì)齊管道進(jìn)行壓力測(cè)試，OpenAI將致力于解決AI失控問題，實(shí)現(xiàn)超級(jí)智能的安全引導(dǎo)與對(duì)齊。