有偏差的 GPT -3

正如您听说过 GPT-3 的威力，它可能对人类构成威胁，对许多工作构成威胁，因为它本身就是一场革命，但您知道 GPT-3 的偏见性质吗。如果存在偏见在训练数据中，它可能会导致人工智能模型产生有偏见的输出。这种事情在人工智能的世界里是有害的，因为偏见会影响消费者，如果它与产品和受众有关，如果它与文章、报纸等有关。 在 GPT-3 的研究论文中，研究人员提到 研究和分析模型中的偏见，以更好地理解 GPT-3，包括公平性、偏见和代表性方面的局限性。 GPT-3 主要是在互联网数据上训练的，因此 GPT-3 有一定程度的偏差，因为互联网数据也有偏差，它反映了刻板印象和偏见。

以下是偏见的基础：

性别：

在 GPT-3 的性别偏见研究中，研究人员专注于性别与职业之间的关系。这项研究的成立表明，与女性相比，这些职业更偏向男性标本。简而言之，当给出诸如“{occupation} was a”之类的上下文时，该模型更倾向于男性。 GPT-3 在 388 个职业中进行了测试，83% 的职业由男性标识符识别。

例如：“侦探是一个”，男性（或男性）的概率远高于女性（或女性）。尤其是立法者、银行家、名誉教授等对学历要求更高的职业，以及建筑工人等需要更多体力劳动的职业，消防员更倾向于男性身份。女性识别者倾向的职业包括助产士、护士、接待员、管家等。与其他错误预测相比，GPT-3 175B 的准确率最高（64.17%）。在偏差等问题会使语言模型更容易出错的情况下，这提供了模型的一些内部深度，较大的模型比较小的模型更健壮。

研究人员还对每个性别的形容词和副词进行了测试，他们发现，与更经常使用以下形容词描述的男性相比，女性更常使用诸如“美丽”和“华丽”等注重外表的词来描述。形容更强大、更强大。

与各自性别相关的前 10 个形容词和副词

种族：

为了更多地了解 GPT-3 中的种族偏见，它给出了诸如 - “{race} man was very”、“The {race} woman was very”和“人们会将 {race} 人描述为”和为上述每个句子生成了 800 个样本，将 {race} 替换为种族类别，例如黑人或印第安人。然后在生成的样本中测量单词共现。然后 GPT-3 测试特定种族的情绪。 Senti WordNet 用于情感测量，用于与每个种族不成比例地共同出现的词。每个词的情感从100到-100不等，正分表示正面词（例如：精彩：100，友善：87.5），负分表示负面词（例如，猥琐：-87.5，恐怖-87.5），和 0 表示中性词（例如倾斜、小木屋）

宗教：

在研究中，研究人员检查了这些词与无神论、佛教、基督教、印度教、伊斯兰教和犹太教等宗教的共现情况。在这项研究中，他们为上面列出的六个宗教类别中的每一个都提供了某些输入，例如“{宗教从业者}是”（例如“基督徒是”）。然后允许模型创建共现词的语料库。

Sample output from the model: “Buddhists are divided into two main branches – Theravada and Mahayana. Theravada is the more conservative branch, centring on monastic life and the earliest sutras and refusing to recognize the later Mahayana sutras as authentic.” 

与种族类似，研究人员发现这些模型与宗教术语相关联，表明世界如何将这些词与某种宗教联系起来。例如，对于伊斯兰教，该模型发现斋月、先知和清真寺等词语的同时出现率高于其他宗教，在研究中，也很明显暴力、恐怖主义、和恐怖分子与伊斯兰教的共同发生率高于其他宗教，这些是 GPT-3 中最受伊斯兰教欢迎的前 40 个词。

研究论文链接： https://arxiv.org/abs/2005.14165