卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的研究人員開發(fā)了一種名為FRIDA的工具，它是一個附有畫筆的機(jī)械臂。該工具利用人工智能(AI)與人類合作開展藝術(shù)項目。

該團(tuán)隊將于5月在2023年IEEE機(jī)器人與自動化國際會議上展示題為“FRIDA：具有可區(qū)分的Real2Sim2Real規(guī)劃環(huán)境的協(xié)作機(jī)器人畫家”的研究。

Peter Schaldenbrand是博士。計算機(jī)學(xué)院機(jī)器人研究所學(xué)生。他與FRIDA合作，探索人工智能和創(chuàng)造力。

“有一幅青蛙芭蕾舞演員的畫，我認(rèn)為效果非常好，”他說。“這真的很傻也很有趣，我認(rèn)為FRIDA根據(jù)我的輸入生成的驚喜真的很有趣。”

FRIDA是Framework and Robotics Initiative for Developing Arts的縮寫。它以弗里達(dá)·卡羅的名字命名。

該研究由Schalderbrand以及RI教員Jean Oh和Jim McCaam領(lǐng)導(dǎo)，它吸引了來自CMU各地的學(xué)生和研究人員。

協(xié)作工具不是藝術(shù)家

用戶可以通過輸入文字描述、提交其他藝術(shù)作品以激發(fā)其風(fēng)格或上傳照片并要求其繪制代表來引導(dǎo)FRIDA。該團(tuán)隊還在測試其他輸入，例如音頻。

“FRIDA是一個機(jī)器人繪畫系統(tǒng)，但FRIDA不是藝術(shù)家，”Schalderbrand繼續(xù)說道。“FRIDA并沒有產(chǎn)生交流的想法。FRIDA是一個藝術(shù)家可以與之合作的系統(tǒng)。藝術(shù)家可以為FRIDA指定高級目標(biāo)，然后FRIDA可以執(zhí)行它們。”

為了繪制圖像，機(jī)器人使用的AI模型與支持OpenAI的ChatGPT和DALL-E 2的模型相當(dāng)，后者會根據(jù)提示生成文本或圖像。FRIDA模擬了它如何用筆觸繪制圖像，并利用機(jī)器學(xué)習(xí)來評估其工作進(jìn)度。

FRIDA的最終產(chǎn)品是異想天開和印象派的。筆觸大膽，缺乏機(jī)器人工作中經(jīng)常尋求的精確度。

“FRIDA是一個探索人類和機(jī)器人創(chuàng)造力交叉點(diǎn)的項目，”McCann補(bǔ)充道。“Frida正在使用已經(jīng)開發(fā)的AI模型來做諸如標(biāo)題圖像和理解場景內(nèi)容之類的事情，并將其應(yīng)用于這個藝術(shù)生成問題。”

FRIDA在其藝術(shù)創(chuàng)作過程中多次使用人工智能和機(jī)器學(xué)習(xí)。首先，它會花一個小時或更長時間學(xué)習(xí)如何使用畫筆。然后，它采用視覺語言模型，這些模型已經(jīng)在龐大的數(shù)據(jù)集上訓(xùn)練，將文本和從互聯(lián)網(wǎng)上抓取的圖像配對，例如OpenAI的對比語言圖像預(yù)訓(xùn)練(CLIP)，以理解輸入。

制作物理圖像的最重大技術(shù)挑戰(zhàn)之一是減少模擬與真實(shí)的差距，這是FRIDA在模擬中創(chuàng)建的內(nèi)容與它在畫布上繪制的內(nèi)容之間的差異。FRIDA使用了一種被稱為real2sim2real的想法，其中機(jī)器人的實(shí)際筆觸用于訓(xùn)練模擬器以反映和模仿機(jī)器人和繪畫材料的物理能力。

FRIDA團(tuán)隊現(xiàn)在的目標(biāo)是通過不斷改進(jìn)他們使用的模型來解決當(dāng)前大型視覺語言模型中的一些局限性。他們從新聞文章中為模型提供標(biāo)題，讓他們了解世界上正在發(fā)生的事情，并進(jìn)一步訓(xùn)練他們使用更能代表不同文化的圖像和文本，以避免美國或西方的偏見。