我們擅長(zhǎng)商業(yè)策略與用戶(hù)體驗(yàn)的完美結(jié)合。
歡迎瀏覽我們的案例。
微軟研究院最近開(kāi)源了 Visual ChatGPT，一個(gè)聊天機(jī)器人系統(tǒng)，可以根據(jù)人類(lèi)的文本提示生成和處理圖像。該系統(tǒng)將 OpenAI 的 ChatGPT 與 22 種不同的視覺(jué)基礎(chǔ)模型(VFM)相結(jié)合，可以支持多模態(tài)交互。
arXiv 上的一篇論文對(duì)該系統(tǒng)進(jìn)行了描述。用戶(hù)可以通過(guò)輸入文本或上傳圖片與聊天機(jī)器人互動(dòng)。機(jī)器人還可以根據(jù)文本提示生成圖像，或者通過(guò)處理聊天歷史記錄中的圖像來(lái)生成圖像。該聊天機(jī)器人的一個(gè)關(guān)鍵模塊是提示詞管理器(Prompt Manager)，它將用戶(hù)輸入的原始文本組織成一個(gè)“思維鏈”提示詞，幫助 ChatGPT 確定是否需要調(diào)用 VFM 工具來(lái)執(zhí)行圖像任務(wù)。據(jù)微軟團(tuán)隊(duì)稱(chēng)，Visual ChatGPT 是：
一個(gè)包含各種 VFM 的開(kāi)放系統(tǒng)，使用戶(hù)能夠超越語(yǔ)言格式與 ChatGPT 進(jìn)行交互。為了構(gòu)建這樣一個(gè)系統(tǒng)，我們精心設(shè)計(jì)了一系列提示詞，將視覺(jué)信息注入到 ChatGPT 中，從而逐步解決復(fù)雜的視覺(jué)問(wèn)題。
ChatGPT 和其他大語(yǔ)言模型(LLM)已經(jīng)顯示出了強(qiáng)大的自然語(yǔ)言處理能力，但它們被訓(xùn)練成只處理一種輸入模式：文本。微軟并沒(méi)有訓(xùn)練另一個(gè)新的模型來(lái)處理多模態(tài)輸入，而是設(shè)計(jì)了一個(gè) Prompt Manager 來(lái)生成輸入給 ChatGPT 的文本，進(jìn)而生成可以調(diào)用 VFM(如 CLIP 或 Stable Diffusion)來(lái)執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)的輸出。
提示詞管理器基于 LangChain 代理，而 VFM 被定義為 LangChain 代理工具。為了確定是否需要調(diào)用工具，代理會(huì)結(jié)合用戶(hù)提示詞和對(duì)話(huà)歷史記錄(其中包含了圖像文件名)，然后應(yīng)用提示詞的前綴和后綴。前綴包括以下文本：
Visual ChatGPT 不能直接讀取圖像，但它有一些工具可用來(lái)完成不同的視覺(jué)任務(wù)。每一張圖像都有一個(gè)文件名，格式為“image/xxx.png”，Visual ChatGPT 可以調(diào)用不同的工具來(lái)間接理解圖像。
前綴中的附加文本會(huì)引導(dǎo) ChatGPT 問(wèn)自己“是否需要使用工具”，如果需要使用工具，它應(yīng)該輸出工具的名稱(chēng)以及所需的輸入，例如要生成的圖像文件名或圖像的文本描述。代理將迭代地調(diào)用 VFM 工具，將生成的圖像發(fā)送到聊天會(huì)話(huà)中，直到不再需要使用工具。此時(shí)，最后生成的文本輸出將被發(fā)送到聊天會(huì)話(huà)中。
在 Hacker News 的一個(gè)帖子中，一位用戶(hù)指出 VFM 使用的內(nèi)存比語(yǔ)言模型少得多，他想知道為什么。另一位用戶(hù)回復(fù)說(shuō)：
圖像模型可以很差，但仍然可以生成令人滿(mǎn)意的結(jié)果。試想一下，我們可以將圖像的像素隨機(jī)變化 10%，我們只會(huì)看到圖像質(zhì)量降低了一些，但其他方面仍然是完美的。而語(yǔ)言模型就不是這樣了，因?yàn)樗鼈冊(cè)噲D解決的問(wèn)題要“尖銳”得多，即使它們只是偏離了一點(diǎn)點(diǎn)，都會(huì)導(dǎo)致結(jié)果出現(xiàn)嚴(yán)重偏差。所以我們需要一個(gè)更大的模型來(lái)獲得足夠的文本“清晰度”。
?。?a href="http://www.weiseditor.com">碼上科技）
