文/李建興
2023-02-21發表
由於ChatGPT帶來的風潮，各大科技公司無不爭相在自己的產品，加入大型語言模型，由於這類語言模型技術的既有限制，使得用戶容易獲得具偏見、冒犯性，甚至是與事實不符的輸出，現在OpenAI開始著手一系列改進，試圖解決當前ChatGPT存在的系統限制。
官方解釋，ChatGPT是一個大型神經網路，模型行為學習自廣泛且龐大的資料，並非是由明確的程式碼寫死。ChatGPT模型經過預訓練和微調兩階段，在預訓練階段，模型會從網際網路資料集中，學習預測語句下一個單詞的方法，但是在這個學習的過程，同時也學習了網際網路中帶有偏見言論。
因此在微調階段，OpenAI需要用較小的資料集微調ChatGPT，以規範模型的行為，這些小資料集由人工審查者根據OpenAI指引創建而成。
不過，由於OpenAI無法預測所有用戶的可能輸入，因此僅在指引中概述幾個類別，人工審查者根據這些指引類別，審查和評分一系列輸入可能的模型輸出，之後再由模型總結這些審查者的回饋，套用在給用戶的回應中。
