最近中文字幕免费完整,自拍偷拍,亚洲,最近中文字幕mv免费高清在线 ,中国激情老熟女,亚洲午夜成aⅴ人片

歡迎光臨托普仕留學(xué)!
托普仕留學(xué)

專(zhuān)注美國(guó)前30院校
規(guī)劃與申請(qǐng)

400 - 686 - 9991

官方客服

托普仕留學(xué) 當(dāng)前位置: 托普仕留學(xué) > 美國(guó)院校資訊 > 正文
MIT團(tuán)隊(duì)開(kāi)發(fā)AI文生圖Agent:模擬人類(lèi)素描且人機(jī)交互創(chuàng)作
上傳時(shí)間: 2025-06-05 11:34:24           瀏覽量: 254

當(dāng)你試圖交流或理解某些想法時(shí),語(yǔ)言往往力有不逮。有時(shí)更高效的方式是繪制簡(jiǎn)單的概念草圖——比如用電路圖來(lái)解析系統(tǒng)運(yùn)作原理。但若人工智能能協(xié)助我們探索這種可視化表達(dá)呢?當(dāng)前,多數(shù)AI系統(tǒng)雖擅長(zhǎng)創(chuàng)作寫(xiě)實(shí)油畫(huà)或卡通插畫(huà),卻難以把握素描的精髓:那種逐筆勾勒、反復(fù)迭代的過(guò)程,正是人類(lèi)借以頭腦風(fēng)暴并修正創(chuàng)意表達(dá)的關(guān)鍵。而接下來(lái)托普仕留學(xué)老師帶來(lái)了好消息,目前,MIT團(tuán)隊(duì)開(kāi)發(fā)AI文生圖Agent,有助于更快理解,下面就詳細(xì)來(lái)看看吧!

  近日,麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(CSAIL)與斯坦福大學(xué)聯(lián)合開(kāi)發(fā)的新型繪圖系統(tǒng)“SketchAgent”改變了這一現(xiàn)狀。該系統(tǒng)采用多模態(tài)語(yǔ)言模型,可在數(shù)秒內(nèi)將自然語(yǔ)言指令轉(zhuǎn)化為草圖。無(wú)論是獨(dú)立創(chuàng)作還是人機(jī)協(xié)作,它都能完成繪制,既可以配合人類(lèi)共同作畫(huà),也能根據(jù)分段文字描述逐步構(gòu)建草圖。

MIT團(tuán)隊(duì)開(kāi)發(fā)AI文生圖Agent.png

  該論文第一作者、CSAIL 博士后研究員 Yael Vinker 指出,這一系統(tǒng)開(kāi)創(chuàng)了人機(jī)交互的更自然方式?!叭藗兺鶝](méi)有意識(shí)到自己日常繪制了多少草圖。人類(lèi)會(huì)用速寫(xiě)來(lái)梳理思路或研討創(chuàng)意,我們的工具旨在模擬這一過(guò)程,讓多模態(tài)語(yǔ)言模型能更有效地輔助人類(lèi)實(shí)現(xiàn)視覺(jué)化表達(dá)?!?/p>

  雖然像DALL-E 3 這樣的文本轉(zhuǎn)圖像模型可以創(chuàng)作出引人入勝的繪畫(huà),但它們?nèi)鄙偎孛璧囊粋€(gè)關(guān)鍵要素:自發(fā)的、富有創(chuàng)意的過(guò)程,在這個(gè)過(guò)程中,每一筆都可能影響整體設(shè)計(jì)。SketchAgent 的繪畫(huà)則被建模為一系列筆觸,看起來(lái)更自然流暢,就像人類(lèi)的素描一樣。

  先前的研究依賴(lài)人類(lèi)繪制數(shù)據(jù)集進(jìn)行模型訓(xùn)練,其規(guī)模與多樣性往往受限。SketchAgent 則另辟蹊徑,直接調(diào)用預(yù)訓(xùn)練語(yǔ)言模型——這些模型雖掌握海量概念,卻不懂如何素描。當(dāng)研究者教會(huì)語(yǔ)言模型這種筆觸序列創(chuàng)作法后,SketchAgent 開(kāi)始繪制它從未明確訓(xùn)練過(guò)的各種概念。

  SketchAgent 通過(guò)獨(dú)創(chuàng)的“素描語(yǔ)言”教會(huì) AI 模型逐筆作畫(huà)——無(wú)需依賴(lài)訓(xùn)練數(shù)據(jù),而是將草圖轉(zhuǎn)化為網(wǎng)格上帶編號(hào)的筆觸序列。研究人員以房屋為例演示繪制過(guò)程:每道筆觸都標(biāo)注對(duì)應(yīng)元素,使模型能夠舉一反三理解新概念。

  作為一種凍結(jié)參數(shù)的多模態(tài)大語(yǔ)言模型,SketchAgent 接收三類(lèi)輸入:包含素描語(yǔ)言規(guī)范的系統(tǒng)提示;帶有具體任務(wù)指令的用戶(hù)提示(如“畫(huà)一條鯊魚(yú)”);空白繪圖畫(huà)布。根據(jù)任務(wù)要求,該系統(tǒng)會(huì)生成代表筆觸序列的文本響應(yīng)。這些筆觸數(shù)據(jù)經(jīng)處理轉(zhuǎn)化為矢量圖形后呈現(xiàn)在畫(huà)布上。畫(huà)布可被循環(huán)利用于兩種場(chǎng)景:配合更新后的提示重新輸入模型,用于執(zhí)行新增任務(wù)或修改草圖;供人類(lèi)用戶(hù)調(diào)取以實(shí)現(xiàn)協(xié)作繪圖。

  Vinker 團(tuán)隊(duì)也驗(yàn)證了 SketchAgent 究竟是與人類(lèi)協(xié)同創(chuàng)作,還是在獨(dú)立創(chuàng)作。他們?cè)趨f(xié)作模式下測(cè)試了該系統(tǒng):人類(lèi)與 AI 需合力完成特定概念的繪制。移除 AI 貢獻(xiàn)的筆觸后,團(tuán)隊(duì)發(fā)現(xiàn)這些筆觸對(duì)最終成圖至關(guān)重要。例如刪除代表桅桿的人工筆觸后,整幅帆船草圖便難以辨認(rèn)。

  也就是說(shuō),通過(guò)研究人員設(shè)計(jì)的基于 Web 的協(xié)作式草圖繪制環(huán)境,用戶(hù)可以和 SketchAgent 輪流在共享畫(huà)布上繪制,根據(jù)給定的文本概念創(chuàng)作出可識(shí)別的草圖。參與者以?xún)煞N模式繪制概念:?jiǎn)稳四J?各自獨(dú)立繪制)和協(xié)作模式(用戶(hù)和 SketchAgent 協(xié)作繪制,每次添加一筆,直到雙方都對(duì)最終效果滿(mǎn)意為止)。綠色表示用戶(hù)繪制的筆觸,粉色表示 SketchAgent 繪制的筆觸 。

  用戶(hù)還可以通過(guò)聊天對(duì)話(huà)反復(fù)編輯他們的草圖。研究團(tuán)隊(duì)演示了該系統(tǒng)創(chuàng)作的各種概念草圖:機(jī)器人、蝴蝶、DNA雙螺旋、流程圖,甚至悉尼歌劇院等抽象圖案。未來(lái),該工具或可發(fā)展為互動(dòng)藝術(shù)游戲,既能輔助教師和研究者圖解復(fù)雜概念,也能為用戶(hù)提供快速繪畫(huà)教學(xué)。

  此外,用戶(hù)還可以使用 SketchAgent 將草圖變?yōu)閯?dòng)圖。

  在另一個(gè)實(shí)驗(yàn)中,研究者為 SketchAgent 接入不同多模態(tài)語(yǔ)言模型進(jìn)行測(cè)評(píng)。結(jié)果發(fā)現(xiàn),Claude 3.5 Sonnet 生成的矢量圖形(可轉(zhuǎn)換為高清圖像的文本文件)最具人類(lèi)特質(zhì),表現(xiàn)優(yōu)于 GPT-4o 和 Claude 3 Opus 等模型。“這一結(jié)果暗示該模型處理視覺(jué)信息的方式與眾不同。”合著者 Tamar Rott Shaham 指出。

  她補(bǔ)充道,SketchAgent 可能成為超越文本交互的新型人機(jī)協(xié)作界面:“隨著模型理解草圖等多元模態(tài)的能力提升,用戶(hù)將獲得更直覺(jué)化、類(lèi)人的表達(dá)方式,這能顯著豐富交互體驗(yàn),提升 AI 的易用性與適應(yīng)性?!?/p>

  盡管SketchAgent 展現(xiàn)出巨大的潛力,目前仍無(wú)法完成專(zhuān)業(yè)素描。它能用簡(jiǎn)筆畫(huà)呈現(xiàn)基礎(chǔ)概念,但對(duì)徽標(biāo)、句子、獨(dú)角獸等復(fù)雜生物及特定人物形象的繪制仍力不從心。協(xié)作過(guò)程中,模型偶現(xiàn)理解偏差——例如畫(huà)出雙頭兔。Vinker 解釋?zhuān)@可能源于其“思維鏈”推理機(jī)制:當(dāng)模型將繪圖任務(wù)分解為多個(gè)步驟時(shí),可能誤解人類(lèi)對(duì)哪部分草圖做出貢獻(xiàn)。研究者考慮通過(guò)擴(kuò)散模型合成數(shù)據(jù)來(lái)優(yōu)化這些繪圖技能。

  此外,該系統(tǒng)常需多輪提示才能生成擬人涂鴉。未來(lái)團(tuán)隊(duì)計(jì)劃優(yōu)化交互界面,簡(jiǎn)化與多模態(tài)語(yǔ)言模型的協(xié)作繪圖流程。但該工具已證明:通過(guò)人機(jī)逐步協(xié)作,AI 有望以人類(lèi)思維方式繪制多元概念,最終實(shí)現(xiàn)更契合設(shè)計(jì)意圖的成果。

  以上是關(guān)于MIT團(tuán)隊(duì)開(kāi)發(fā)AI文生圖Agent的全部?jī)?nèi)容,如果還想了解更多關(guān)于美國(guó)留學(xué)申請(qǐng)方面的相關(guān)知識(shí)的,歡迎隨時(shí)聯(lián)系Tops6868或在線(xiàn)咨詢(xún),托普仕留學(xué)專(zhuān)注美國(guó)前30高校申請(qǐng),多年名校申請(qǐng)經(jīng)驗(yàn)助力你的留學(xué)申請(qǐng)。

托普仕留學(xué)