OpenAI、テキストを書いたのが AI か人間かを区別するよう学習させた分類ツールを公開

headless 曰く、

OpenAI は 1 月 31 日、AI が書いたテキストと人間が書いたテキストを区別できるよう学習させた AI テキスト分類ツールを公開した (OpenAI のブログ記事、 The Guardian の記事、 The Verge の記事、 Neowin の記事)。

この分類ツールは完全に信頼できるものではなく、AI が書いたテキストの 26 % を「AIが書いたらしい」と正しく識別できるが、人間が書いたテキストでも 9 % の確率で AI が書いたものと誤ってラベル付けしてしまうという。分類ツールの信頼性はテキストが長いほど向上する一方、1,000 文字未満の短いテキストでは非常に信頼性が低下する。また、英語以外の言語では信頼性が大幅に低下するため、英語でのみ使用することが推奨されている。

1,000 番目までの素数のリストのように人間が書いても AI が書いても同じ内容になるテキストを正しく識別することはできないほか、学習データと大幅に異なる内容のテキストを入力した場合にも正しく識別できない可能性がある。AI が書いたテキストを編集して分類ツールをだますことも可能とのことだ。