GPTZero翻译站点

什么是 GPTZero？

GPTZero 是一种预测文档是否由大型语言模型编写的分类模型，提供句子、段落和文档级别的预测。GPTZero 在大量不同的人工和 AI 生成文本语料库上进行了训练，重点是英语散文。

我应该何时以及如何使用 GPTZero？

我们的用户已经看到人工智能生成的文本在教育、认证、招聘和招聘、社交写作平台、虚假信息等领域的使用激增。我们创建了 GPTZero 作为一种工具，以突出 AI 在编写文本中的可能用途。特别是，我们专注于对散文中的 AI 使用进行分类。

我们的分类器返回文档级分数，completely_generated_prob指定整个文档由 AI 生成的概率。在决定是否大量使用 AI 生成文本时，我们建议使用此分数。

当我们的分类器识别出 AI 生成的内容和人工编写的内容的混合时，应使用句子级分类（例如，突出显示的文本）。换句话说，当一个句子被突出显示为 AI 生成时，不应使用它来表示一篇文章部分由 AI 生成。相反，当文档的大部分被识别为 AI 生成时，突出显示的句子将指示我们认为这发生在文档中的哪个位置。

总的来说，我们的分类器旨在用于标记可以开始对话的情况（例如，教育者和学生之间），以推动进一步的调查并传播对在书面作业中使用 AI 的风险的认识。

GPTZero 是否只检测 ChatGPT 输出？

不，GPTZero 在一系列 AI 语言模型中都能稳健运行，包括但不限于 ChatGPT、GPT-3、GPT-2、LLaMA 和基于这些模型的 AI 服务。

分类器的局限性是什么？

人工智能生成内容的性质在不断变化。因此，这些结果不应该用来惩罚学生。虽然我们为 GPTZero 构建了更强大的模型，但我们建议教育工作者将这些结果作为对学生工作进行整体评估的众多部分之一。这两种情况总是存在边缘情况，其中 AI 被归类为人类，而人类被归类为 AI。相反，我们建议教育工作者采取让学生有机会在受控环境中展示他们的理解的方法。

随着向模型提交的文本越来越多，我们模型的准确性也会提高。因此，模型在文档级分类上的准确性将大于段落级的准确性，而段落级的准确性又大于句子级的准确性。

对于与我们的数据集性质相似的文本，我们模型的准确性也会提高。虽然我们在一组高度多样化的人类和 AI 生成的文本上进行训练，但我们的大部分数据集都是由成人撰写的英文散文。

我们的分类器没有经过训练来识别 AI 生成的文本，因为它在生成后经过大量修改（尽管我们估计这只是目前 AI 生成的一小部分用途）。

目前，我们的分类器有时可以将其他机器生成的或高度程序化的文本标记为 AI 生成的，因此，应该用于文本的更具描述性的部分。

你用什么数据训练你的模型？

我们在一个由人工编写和人工智能生成的文本配对的数据集上训练了我们的模型。我们的人工文本涵盖学生撰写的文章、新闻文章以及跨越科学和人文学科多个学科的问答数据集。对于每篇人工编写的文章，我们都会用 AI 生成相应的文章，以确保我们的数据集中没有主题级别的偏差。最后，我们用人类和 AI 撰写的文章的平衡来训练我们的模型。

你怎么知道你的模型有效？

我们在一组从未见过的人类和 AI 文章上测试我们的模型，这些文章来自我们的大规模数据集的一部分，此外还有一小部分在其训练分布之外的具有挑战性的文章。completely_generated_prob 当我们将 API 返回的阈值设置为 0.65 时（人类低于 0.65，AI 高于 0.65），我们正确分类了 99% 的人类撰写的文章和 85% 的人工智能生成的文章。我们的分类器获得了 0.98 的 AUC 分数（定义）。

我如何将 API 中的概率转化为结果？

作为参考，我们的 API在此处有详细说明。

我们建议使用completely_generated_prob 来了解文档是否完全由 AI 生成。completely_generated_prob 在我们的验证数据集上，当您将所有低于阈值的文档设置为人类，高于阈值的文档设置为 AI时，结果如何变化：

• 在 0.65 的阈值下，85% 的 AI 文档被归类为 AI，99% 的人类文档被归类为人类
• 在阈值为 0.16 时，96% 的 AI 文档被归类为 AI，96% 的人类文档被归类为人类

我们建议使用 0.65 或更高的阈值来最大程度地减少误报的数量，因为我们认为目前将人类书写错误检测为 AI 比反之更有害。

您是否存储来自 API 调用的数据？

不会。我们不会存储或收集传递给我们 API 的任何调用的文档。我们希望在使用我们的 API 存储来自任何组织的数据时过于谨慎。

但是，我们会存储来自仪表板的调用的输入。这些数据仅供 GPTZero 汇总使用，以进一步改善我们用户的服务。您可以参考我们的隐私政策了解更多详情。

为什么 GPTZero 优于其他检测模型？

• GPTZero 是跨用例最准确的 AI 检测器，已通过包括 TechCrunch 在内的多个独立来源的验证，在测试了其他 7 个后，TechCrunch 称我们为最佳和最可靠的 AI 检测器。
• GPTZero 建立并不断改进我们自己的技术。在我们的竞争对手分析中，我们发现不仅 GPTZero 表现更好，一些竞争对手的服务实际上只是转发免费、开源模型的输出，而不需要额外的培训。
• 与许多其他模型相比，GPTZero 针对学生写作和学术散文进行了微调。通过这样做，我们已经看到此用例的准确性有了很大的提高。

最后，我们的许多用户——尤其是教育工作者——告诉我们他们信任 GPTZero，因为我们只有一个使命：为每个人提供检测和安全采用 AI 技术的工具。与许多最近将探测器作为补充业务发布的供应商不同，这一使命将永远是我们的首要任务。

相关标签