研究開発

大規模言語モデルが持ち得る創発能力の幻想

『最新の研究により、大規模言語モデル（LLM）の性能が突然飛躍することは驚きでも予測不能でもなく、実際には人工知能（AI）の性能を測る方法に関係していることが示された。』AIの「創発性」は幻影に過ぎない ── 大規模言語モデルの新たな測定で判明https://t.co/5uxLcwA

2024/05/14 08:46

楽曲再生回数と歌詞の因子分析による影響力の分析

データは 最近の人気曲で歌詞の分析と比較 と同じで、2016/1 ～ 2024/4 辺りの647曲です。再生回数と、歌詞に含まれる単語を取得し、平均値を算出します。再生回数の全体平均が 69585.55631 なので、単語が人気に影響を与えるかどうかは、平均値に対しての上下です。.

2024/05/07 18:55

100kドルでLlama2より高精度を達成:JetMoE

「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場https://t.co/rn3VjsWaB8— GIGAZINE(ギガジン) (@gigazine) April 5, 2024 なぜ学習コストを減らす事が出来るのか、どのようにしたのかに、興味持つ人が全然いな

2024/05/05 18:40

LLMの流暢な作り話を人間が信用する理由

2017年頃に応用数理学会で「AIの説明可能性はAIじゃなくて人間側の問題」って趣旨のコメントをした記憶があるんだけど，ChatGPTで一段社会のステージが変わった（AIの説明を人間が受け入れるようになった）ように思う．顧客が本当に必要だったのは精度（説明）じゃなくて流暢

2024/05/02 17:50

言語モデルをggufファイルに変換してllamafileに読み込ませる

大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化https://t.co/OL16t4BwHa— GIGAZINE(ギガジン) (@gigazine) April 2, 2024 https://github.com/Mozilla-Ocho/llamafileUnfortunately, Windows users cannot make

2024/05/01 18:09

Generative Classifierの興味深い特性

従来の画像認識は識別モデルだが、生成モデルが進展し生成モデルで高精度で認識することも現実的に可能となった。識別モデルがテキスチャを見て認識するのに対し、生成モデルによる認識は人と同様に形状を重視して識別し、人と間違え方が似ていることが示された。https://t.c

2024/04/28 19:26

最近の人気曲で歌詞の分析と比較

近年の音楽業界では、曲の内容、傾向が以前と比較して変化が起きてると考えられてると思います。...これは、z世代の選好の質的な変化とか言うよりはむしろ、ストリーミングサービス普及によって、全体的な変化が生じてる、のでは...？J-pop歌詞の分析と比較 の時と同じよ

2024/04/26 08:39

コンピュータービジョンで自動化する費用対効果が高いタスクは何か？ AI Exposure

RT人間の労働力の方が人工知能より安価～ MITの研究、雇用機会の大部分は人工知能にまだ奪われないと結論https://t.co/0ScCAUtu85— 森山和道／ライター、書評屋 (@kmoriyama) April 12, 2024 この研究はどの論文なのかと思ったんですが、どうもManagement Science誌に投

2024/04/19 19:02

Proxyによる言語モデルチューニング

LLMを特定目的にFine-tuningせずとも、より小さなLLMとそのFine?tuning版の出力の差分を、元のLLMの出力（logits）に加えることで同等の効果を得られるという話。おもろ? https://t.co/j89SqvPOc5— Shohei Hido 比戸将平 (@sla) January 19, 2024 Tuning Language Models

2024/04/12 10:49

言語モデルへのMany shot 倫理解除攻撃

大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見されるhttps://t.co/BRV3Y72jdX— GIGAZINE(ギガジン) (@gigazine) April 3, 2024 大量の質問ではないですね。大

2024/04/08 00:55

消費者向けGPUで機能する高速大規模言語モデルPowerInferの実装

これすごい。必要なところだけGPUにして残りはCPUで推論させて40Bモデルを4090(24G)で動作。llama.cppの11倍高速https://t.co/WXy3xeI424— shi3z (@shi3z) December 24, 2023 PowerInferは、Llama2に比べたらまだ早かったですが...また、出力があんまり良くないような気

2024/04/03 17:58

実稼働言語モデルへの部分窃取手法

Googleの研究者たちはAPI経由でOpenAIのモデルにおける隠れ次元数を特定できることを示し、OpenAIがそれを受け対策を施したことを論文で報告しました。モデルのパラメータサイズや計算効率を見積もることが可能だった事実を意味しています。"Stealing Part of a Production L

2024/03/27 11:58

GenAIによるAIワームの登場:アプリケーションを標的とするゼロクリックワーム

研究者たちは「敵対的自己複製プロンプト」と呼ばれる手法で生成AIワームを作成した。https://t.co/mzheaYLUPH— WIRED.jp (@wired_jp) March 12, 2024 システムがメッセージ（プロンプト）の保存や、RAG等を実行しなければ、ワームは機能しません。そう思ったのですが、そ

2024/03/20 21:25

自己教師あり学習のためのノイズ除去拡散モデルの分解

拡散モデルが表現学習出来る理由を学習要素を分解し調査した結果、トーカナイザで低次元潜在空間に射影し、ノイズを加えデノイジングを学習する事"のみ"重要だった（画素空間ではダメ）。射影はPCAですら良い。潜在空間でデノイジングするl-DAEも同性能を達成出来るhttps://t

2024/03/13 10:54

状態空間言語モデルmambaの独自データで学習方法

選択的状態空間を使用した線形時間系列モデリングSSM の実際の実装方法と、学習方法です。git clone https://github.com/state-spaces/mambacd mamba実行のためにはこうするだけではなく、pip install causal-conv1d>=1.1.0,こうする必要がありました。import to

2024/03/07 11:53

文字起こしReazonSpeecの実装方法

文字起こしAIの新顔「ReazonSpeech」、テレビで鍛えた音声認識の精度を試したspeech,rate = librosa.load("audio.mp3", sr=44100)result = reazonspeech(speech)result[0][0]書いてある通りの実行方法で上手く行き、最初はエラーは何も生じませんでした。実行にはrea

2024/03/05 18:32

選択的状態空間を使用した線形時間系列モデリングSSM

MambaはS4に入力を選択的に記憶/忘却をできるよう重み、間隔幅を入力に応じて変える仕組み（S6）を導入。高速メモリ内で内部状態を展開し、Parallel Scanを利用。SSMは性能がTransformerに匹敵しつつあり効率的なため今後多くの問題でTransformerに置き換わる可能性が高い ht

2024/02/29 06:22

ニューラルネットワークの学習可能性境界はフラクタル

NNの学習はハイパーパラメータを座標軸、学習結果を色とした時、美しいフラクタル構造を作る。これは従来のフラクタル生成手法と同様、学習結果は同じ関数を反復適用した結果得られるためである。カオス的であり、勾配降下法によるメタ学習が難しい事も視覚化出来ている http

2024/02/27 11:41

自力で学習データを作成するSelf-Rewarding Language Models

AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る https://t.co/OFeAjRPF17 自分で問題作り自分で回答し自分で評価しその結果を学習データに使用。これを反復し訓練し続けると反復毎に精度が向上。3回目でGemini Pro,GPT

2024/02/20 18:53

大規模言語モデルを使用して自動運転を再考する

LLMx自動運転でこちらの研究面白かった。汎用人工知能AGIの研究にも取り組むShanghai AI Labからの論文。既存のLLMと理想の完全自動運転AIの差異をreasoning、interpretation、memorizationの3つに絞って議論。オープンソースと簡易デモも出していて、LLMx自動運転の思想が見

2024/02/14 11:53