OpenAI是一家人工智能研究和部署公司，使命是確保人工通用智能造福全人類。OpenAI的使命是確保人工通用智能（AGI）——指的是在具有經(jīng)濟(jì)價(jià)值的工作中超越人類的高度自治系統(tǒng)——造福全人類。OpenAI將試圖直接建設(shè)安全和有益的AGI，但如果工作幫助他人實(shí)現(xiàn)這一結(jié)果，OpenAI也將認(rèn)為我們的使命已經(jīng)完成。OpenAI已經(jīng)訓(xùn)練了一個(gè)名為ChatGPT的模型，它以對(duì)話的方式進(jìn)行交互。對(duì)話形式使ChatGPT能夠回答后續(xù)問(wèn)題，承認(rèn)錯(cuò)誤，質(zhì)疑不正確的前提，并拒絕不適當(dāng)?shù)恼?qǐng)求。ChatGPT是說(shuō)明書，它被訓(xùn)練成遵循提示中的指令并提供詳細(xì)的響應(yīng)。

ChatGPT有時(shí)會(huì)寫出聽(tīng)起來(lái)合理但不正確或無(wú)意義的答案。解決這個(gè)問(wèn)題是具有挑戰(zhàn)性的，因?yàn)椋海?）在RL訓(xùn)練期間，目前沒(méi)有真實(shí)的來(lái)源；（2）訓(xùn)練模型更加謹(jǐn)慎導(dǎo)致它拒絕它能夠正確回答的問(wèn)題；以及（3）監(jiān)督訓(xùn)練誤導(dǎo)模型，因?yàn)槔硐氪鸢溉Q于模型知道什么，而不是人類示威者所知道的。

ChatGPT對(duì)輸入措辭的調(diào)整或多次嘗試相同的提示很敏感。例如，給定一個(gè)問(wèn)題的一種措辭，模型可以聲稱不知道答案，但給定一個(gè)輕微的措辭，可以正確地回答。理想情況下，當(dāng)用戶提供一個(gè)模糊的查詢時(shí)，模型會(huì)問(wèn)一些澄清性的問(wèn)題。相反，我們當(dāng)前的模型通常猜測(cè)用戶的意圖。

今天ChatGPT的研究發(fā)布是OpenAI的新一步迭代部署越來(lái)越安全和有用的人工智能系統(tǒng)。從早期模型的部署中吸取的許多經(jīng)驗(yàn)教訓(xùn)為此次發(fā)布的安全緩解措施提供了信息，包括通過(guò)使用人類反饋強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的有害和不真實(shí)輸出的大幅減少。