GPT-4 生成的代码 62% 包含 API 误用

加州圣迭戈的研究人员报告，GPT-4 生成的代码 62% 包含 API 误用。大模型展现出了非凡的自然语言理解和代码生成能力。如今软件工程师在遇到编程问题时不是去问 StackOverflow 而是去问大模型如 GPT-4。但大模型生成的代码未必安全，在软件开发环境中实际使用其生成的代码可能会带来严重的安全隐患。其中 API 误用可能会导致资源泄露和程序崩溃等种种问题。而使用大模型生成代码的用户最有可能是新人，不熟悉 AP，难以分辨其中的 API 误用。研究人员从 StackOverflow 收集了 1208 个与 Java API 相关的编程问题，评估了流行的大模型，发现即使是 GPT-4，其生成的代码中有 62% 包含 API 误用。

来源：[2308.10335] 大型语言模型代码生成的鲁棒性和可靠性研究 (arxiv.org)