Preferred NetworksがOSSの大規模言語モデルを公開 12
ストーリー by nagazou
公開 部門より
公開 部門より
Preferred Networksは9月28日、大規模言語モデルであるPLaMo-13Bを公開した。PLaMo-13Bは、日本発の大規模な事前学習済み言語モデル（LLM）で、約130億のパラメータを持ち、日本語と英語に特化している。これまで日本語対応のLLMが少なかったため、日本国内での利用に適しているとされている（PLaMo-13Bを公開しました、WEEL）。
PLaMo-13BはApache License Version 2.0のオープンソースソフトウェアとして提供されており、研究や商用利用が可能。性能は、他の同規模のLLMと比較しても優れており、日本語と英語のベンチマークスコアでも高い評価を受けている。この性能は、日本語データセットと英語データセットの効果的な学習、および130億のパラメータを持つことによるものとされている。
あるAnonymous Coward 曰く、
PLaMo-13BはApache License Version 2.0のオープンソースソフトウェアとして提供されており、研究や商用利用が可能。性能は、他の同規模のLLMと比較しても優れており、日本語と英語のベンチマークスコアでも高い評価を受けている。この性能は、日本語データセットと英語データセットの効果的な学習、および130億のパラメータを持つことによるものとされている。
あるAnonymous Coward 曰く、
またAI界隈の自称OSSかと思って見に行ったらApache License 2.0なのでガチのOSSライセンスだった。
名前 (スコア:0)
Plamo Linuxで開発しているのかな
サイズが気になる (スコア:0)
デカそう
Re:サイズが気になる (スコア:3)
デカそう
リリース文についているサンプルを、Google Colab無料枠で動かそうとしたら、メモリ不足でクラッシュしました。
# 初めてやってみたので、当然のことかも？
Re:サイズが気になる (スコア:1)
26GBほど
https://huggingface.co/pfnet/plamo-13b/tree/main [huggingface.co]
Re: (スコア:0)
13Bって書いてるじゃん。
8bit以下の量子化をすれば、RTX4080でも動かせそう。
日本語に特化 (スコア:0)
そういう触れ込みのモデルはこれまでもいくつか出てきてたけど、実際にすごいかというとね...
まあどっちかというと日本語まですごいChatGPTの方がおかしいんだよなぁ。なんなのあれ。
Re: (スコア:0)
理屈も口調も明らかに日本語・日本ネイティブじゃないのがなあ…
あれがベストであり続けるとヤバいよなあ…
Re: (スコア:0)
そんなのブロンプトで好きにカスタマイズできるじゃん。
Re: (スコア:0)
ブロンド好きにカスタマイズできるじゃん？！
そりゃ英語学習もすすむわ！
違った
Re: (スコア:0)
研究者たちも首をひねっているようですよ。
「どうして賢い振る舞いが突然できるようになったのか。なぜ日本語が自然なのか、研究者にもわかっていない」
AI研究者の黒橋禎夫・国立情報学研究所（NII）所長はそう話す。
https://www.asahi.com/sp/articles/ASR946JN9R8RULBH01B.html [asahi.com]
次のステップに進んでほしい (スコア:0)
日本の各社からLLMが公開されているけど、どれも「日本語で訓練しました」っていうのがセールスポイントで、
その日本語性能も既存のモデルより優れているわけでもないという…。
開発にあたって現場レベルのノウハウはたくさんあるだろうから、
とりあえず作ってみてノウハウを蓄積することに意味はあるとは思うけど、税金も投入されているんだし、
世界レベルで新しいことに挑戦するプロジェクトが出てくることを期待したい。
LLMと音声合成 (スコア:0)
Tacotron2とかEdittsでエロ音声合成しているけど
Python36とか古いバージョンを使わざるを得ないので
LLMでも音声合成でも最新のアプリケーションに対応しているのは良いと思う