Preferred NetworksがOSSの大規模言語モデルを公開

Preferred Networksは9月28日、大規模言語モデルであるPLaMo-13Bを公開した。PLaMo-13Bは、日本発の大規模な事前学習済み言語モデル（LLM）で、約130億のパラメータを持ち、日本語と英語に特化している。これまで日本語対応のLLMが少なかったため、日本国内での利用に適しているとされている（PLaMo-13Bを公開しました、WEEL）。

PLaMo-13BはApache License Version 2.0のオープンソースソフトウェアとして提供されており、研究や商用利用が可能。性能は、他の同規模のLLMと比較しても優れており、日本語と英語のベンチマークスコアでも高い評価を受けている。この性能は、日本語データセットと英語データセットの効果的な学習、および130億のパラメータを持つことによるものとされている。

あるAnonymous Coward 曰く、

またAI界隈の自称OSSかと思って見に行ったらApache License 2.0なのでガチのOSSライセンスだった。

Re:サイズが気になる

[yasiyasi (5450)]

デカそう

リリース文についているサンプルを、Google Colab無料枠で動かそうとしたら、メモリ不足でクラッシュしました。
# 初めてやってみたので、当然のことかも？