``Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models,'' Ziyu Wang, Lejun Min, Gus Xia, https://t.co/KjXwq12nG2— arXiv Sound (@ArxivSound) May 17, 2024 これも楽譜を画像と見なして階層的に生成する研究ですが、言語モデル型
| 今日 | 06/01 | 05/31 | 05/30 | 05/29 | 05/28 | 05/27 | 全参加数 | |
|---|---|---|---|---|---|---|---|---|
| 総合ランキング（IN） | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 1,035,060サイト |
| INポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| OUTポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| PVポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| ベンチャーブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 4,200サイト |
| 科学ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 2,690サイト |
| IT技術ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 9,786サイト |
| 今日 | 06/01 | 05/31 | 05/30 | 05/29 | 05/28 | 05/27 | 全参加数 | |
|---|---|---|---|---|---|---|---|---|
| 総合ランキング（OUT） | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 1,035,060サイト |
| INポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| OUTポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| PVポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| ベンチャーブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 4,200サイト |
| 科学ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 2,690サイト |
| IT技術ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 9,786サイト |
| 今日 | 06/01 | 05/31 | 05/30 | 05/29 | 05/28 | 05/27 | 全参加数 | |
|---|---|---|---|---|---|---|---|---|
| 総合ランキング（PV） | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 1,035,060サイト |
| INポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| OUTポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| PVポイント | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0/週 |
| ベンチャーブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 4,200サイト |
| 科学ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 2,690サイト |
| IT技術ブログ | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 圏外 | 9,786サイト |
``Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models,'' Ziyu Wang, Lejun Min, Gus Xia, https://t.co/KjXwq12nG2— arXiv Sound (@ArxivSound) May 17, 2024 これも楽譜を画像と見なして階層的に生成する研究ですが、言語モデル型
LLMでChain-of-Thoughtは潜在トークン列を事後分布列から生成するタスクとみなせる。LLMのファインチューニング時にGFlowNetsを使って潜在変数を順に生成するように学習。推論の途中経過を潜在変数とみなすアプローチは興味深い（以前もRAGであった https://t.co/3pf3gA4eDO
実は最近のLLMは,学習中に評価用のベンチマークと酷似したデータを(意図的にせよ非意図的にせよ)カンニング/暗記しており,それで評価スコアが高くなっていたのではないか問題https://t.co/r70kcwMv6q完全新規ベンチマーク(GSM1k)を作り評価すると,見事にほとんどのLLMの性能
『最新の研究により、大規模言語モデル（LLM）の性能が突然飛躍することは驚きでも予測不能でもなく、実際には人工知能（AI）の性能を測る方法に関係していることが示された。』AIの「創発性」は幻影に過ぎない ── 大規模言語モデルの新たな測定で判明https://t.co/5uxLcwA
データは 最近の人気曲で歌詞の分析と比較 と同じで、2016/1 ～ 2024/4 辺りの647曲です。再生回数と、歌詞に含まれる単語を取得し、平均値を算出します。再生回数の全体平均が 69585.55631 なので、単語が人気に影響を与えるかどうかは、平均値に対しての上下です。.
「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場https://t.co/rn3VjsWaB8— GIGAZINE(ギガジン) (@gigazine) April 5, 2024 なぜ学習コストを減らす事が出来るのか、どのようにしたのかに、興味持つ人が全然いな
2017年頃に応用数理学会で「AIの説明可能性はAIじゃなくて人間側の問題」って趣旨のコメントをした記憶があるんだけど，ChatGPTで一段社会のステージが変わった（AIの説明を人間が受け入れるようになった）ように思う．顧客が本当に必要だったのは精度（説明）じゃなくて流暢
言語モデルをggufファイルに変換してllamafileに読み込ませる
大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化https://t.co/OL16t4BwHa— GIGAZINE(ギガジン) (@gigazine) April 2, 2024 https://github.com/Mozilla-Ocho/llamafileUnfortunately, Windows users cannot make
従来の画像認識は識別モデルだが、生成モデルが進展し生成モデルで高精度で認識することも現実的に可能となった。識別モデルがテキスチャを見て認識するのに対し、生成モデルによる認識は人と同様に形状を重視して識別し、人と間違え方が似ていることが示された。https://t.c
近年の音楽業界では、曲の内容、傾向が以前と比較して変化が起きてると考えられてると思います。...これは、z世代の選好の質的な変化とか言うよりはむしろ、ストリーミングサービス普及によって、全体的な変化が生じてる、のでは...？J-pop歌詞の分析と比較 の時と同じよ
コンピュータービジョンで自動化する費用対効果が高いタスクは何か？ AI Exposure
RT人間の労働力の方が人工知能より安価～ MITの研究、雇用機会の大部分は人工知能にまだ奪われないと結論https://t.co/0ScCAUtu85— 森山和道／ライター、書評屋 (@kmoriyama) April 12, 2024 この研究はどの論文なのかと思ったんですが、どうもManagement Science誌に投
LLMを特定目的にFine-tuningせずとも、より小さなLLMとそのFine?tuning版の出力の差分を、元のLLMの出力（logits）に加えることで同等の効果を得られるという話。おもろ? https://t.co/j89SqvPOc5— Shohei Hido 比戸将平 (@sla) January 19, 2024 Tuning Language Models
大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見されるhttps://t.co/BRV3Y72jdX— GIGAZINE(ギガジン) (@gigazine) April 3, 2024 大量の質問ではないですね。大
消費者向けGPUで機能する高速大規模言語モデルPowerInferの実装
これすごい。必要なところだけGPUにして残りはCPUで推論させて40Bモデルを4090(24G)で動作。llama.cppの11倍高速https://t.co/WXy3xeI424— shi3z (@shi3z) December 24, 2023 PowerInferは、Llama2に比べたらまだ早かったですが...また、出力があんまり良くないような気
Googleの研究者たちはAPI経由でOpenAIのモデルにおける隠れ次元数を特定できることを示し、OpenAIがそれを受け対策を施したことを論文で報告しました。モデルのパラメータサイズや計算効率を見積もることが可能だった事実を意味しています。"Stealing Part of a Production L
GenAIによるAIワームの登場:アプリケーションを標的とするゼロクリックワーム
研究者たちは「敵対的自己複製プロンプト」と呼ばれる手法で生成AIワームを作成した。https://t.co/mzheaYLUPH— WIRED.jp (@wired_jp) March 12, 2024 システムがメッセージ（プロンプト）の保存や、RAG等を実行しなければ、ワームは機能しません。そう思ったのですが、そ
拡散モデルが表現学習出来る理由を学習要素を分解し調査した結果、トーカナイザで低次元潜在空間に射影し、ノイズを加えデノイジングを学習する事"のみ"重要だった（画素空間ではダメ）。射影はPCAですら良い。潜在空間でデノイジングするl-DAEも同性能を達成出来るhttps://t
選択的状態空間を使用した線形時間系列モデリングSSM の実際の実装方法と、学習方法です。git clone https://github.com/state-spaces/mambacd mamba実行のためにはこうするだけではなく、pip install causal-conv1d>=1.1.0,こうする必要がありました。import to
文字起こしAIの新顔「ReazonSpeech」、テレビで鍛えた音声認識の精度を試したspeech,rate = librosa.load("audio.mp3", sr=44100)result = reazonspeech(speech)result[0][0]書いてある通りの実行方法で上手く行き、最初はエラーは何も生じませんでした。実行にはrea
MambaはS4に入力を選択的に記憶/忘却をできるよう重み、間隔幅を入力に応じて変える仕組み（S6）を導入。高速メモリ内で内部状態を展開し、Parallel Scanを利用。SSMは性能がTransformerに匹敵しつつあり効率的なため今後多くの問題でTransformerに置き換わる可能性が高い ht
「ブログリーダー」を活用して、TAKさんをフォローしませんか？
``Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models,'' Ziyu Wang, Lejun Min, Gus Xia, https://t.co/KjXwq12nG2— arXiv Sound (@ArxivSound) May 17, 2024 これも楽譜を画像と見なして階層的に生成する研究ですが、言語モデル型
LLMでChain-of-Thoughtは潜在トークン列を事後分布列から生成するタスクとみなせる。LLMのファインチューニング時にGFlowNetsを使って潜在変数を順に生成するように学習。推論の途中経過を潜在変数とみなすアプローチは興味深い（以前もRAGであった https://t.co/3pf3gA4eDO
実は最近のLLMは,学習中に評価用のベンチマークと酷似したデータを(意図的にせよ非意図的にせよ)カンニング/暗記しており,それで評価スコアが高くなっていたのではないか問題https://t.co/r70kcwMv6q完全新規ベンチマーク(GSM1k)を作り評価すると,見事にほとんどのLLMの性能
『最新の研究により、大規模言語モデル（LLM）の性能が突然飛躍することは驚きでも予測不能でもなく、実際には人工知能（AI）の性能を測る方法に関係していることが示された。』AIの「創発性」は幻影に過ぎない ── 大規模言語モデルの新たな測定で判明https://t.co/5uxLcwA
データは 最近の人気曲で歌詞の分析と比較 と同じで、2016/1 ～ 2024/4 辺りの647曲です。再生回数と、歌詞に含まれる単語を取得し、平均値を算出します。再生回数の全体平均が 69585.55631 なので、単語が人気に影響を与えるかどうかは、平均値に対しての上下です。.
「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場https://t.co/rn3VjsWaB8— GIGAZINE(ギガジン) (@gigazine) April 5, 2024 なぜ学習コストを減らす事が出来るのか、どのようにしたのかに、興味持つ人が全然いな
2017年頃に応用数理学会で「AIの説明可能性はAIじゃなくて人間側の問題」って趣旨のコメントをした記憶があるんだけど，ChatGPTで一段社会のステージが変わった（AIの説明を人間が受け入れるようになった）ように思う．顧客が本当に必要だったのは精度（説明）じゃなくて流暢
大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化https://t.co/OL16t4BwHa— GIGAZINE(ギガジン) (@gigazine) April 2, 2024 https://github.com/Mozilla-Ocho/llamafileUnfortunately, Windows users cannot make
従来の画像認識は識別モデルだが、生成モデルが進展し生成モデルで高精度で認識することも現実的に可能となった。識別モデルがテキスチャを見て認識するのに対し、生成モデルによる認識は人と同様に形状を重視して識別し、人と間違え方が似ていることが示された。https://t.c
近年の音楽業界では、曲の内容、傾向が以前と比較して変化が起きてると考えられてると思います。...これは、z世代の選好の質的な変化とか言うよりはむしろ、ストリーミングサービス普及によって、全体的な変化が生じてる、のでは...？J-pop歌詞の分析と比較 の時と同じよ
RT人間の労働力の方が人工知能より安価～ MITの研究、雇用機会の大部分は人工知能にまだ奪われないと結論https://t.co/0ScCAUtu85— 森山和道／ライター、書評屋 (@kmoriyama) April 12, 2024 この研究はどの論文なのかと思ったんですが、どうもManagement Science誌に投
LLMを特定目的にFine-tuningせずとも、より小さなLLMとそのFine?tuning版の出力の差分を、元のLLMの出力（logits）に加えることで同等の効果を得られるという話。おもろ? https://t.co/j89SqvPOc5— Shohei Hido 比戸将平 (@sla) January 19, 2024 Tuning Language Models
大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見されるhttps://t.co/BRV3Y72jdX— GIGAZINE(ギガジン) (@gigazine) April 3, 2024 大量の質問ではないですね。大
これすごい。必要なところだけGPUにして残りはCPUで推論させて40Bモデルを4090(24G)で動作。llama.cppの11倍高速https://t.co/WXy3xeI424— shi3z (@shi3z) December 24, 2023 PowerInferは、Llama2に比べたらまだ早かったですが...また、出力があんまり良くないような気
Googleの研究者たちはAPI経由でOpenAIのモデルにおける隠れ次元数を特定できることを示し、OpenAIがそれを受け対策を施したことを論文で報告しました。モデルのパラメータサイズや計算効率を見積もることが可能だった事実を意味しています。"Stealing Part of a Production L
研究者たちは「敵対的自己複製プロンプト」と呼ばれる手法で生成AIワームを作成した。https://t.co/mzheaYLUPH— WIRED.jp (@wired_jp) March 12, 2024 システムがメッセージ（プロンプト）の保存や、RAG等を実行しなければ、ワームは機能しません。そう思ったのですが、そ
拡散モデルが表現学習出来る理由を学習要素を分解し調査した結果、トーカナイザで低次元潜在空間に射影し、ノイズを加えデノイジングを学習する事"のみ"重要だった（画素空間ではダメ）。射影はPCAですら良い。潜在空間でデノイジングするl-DAEも同性能を達成出来るhttps://t
選択的状態空間を使用した線形時間系列モデリングSSM の実際の実装方法と、学習方法です。git clone https://github.com/state-spaces/mambacd mamba実行のためにはこうするだけではなく、pip install causal-conv1d>=1.1.0,こうする必要がありました。import to
文字起こしAIの新顔「ReazonSpeech」、テレビで鍛えた音声認識の精度を試したspeech,rate = librosa.load("audio.mp3", sr=44100)result = reazonspeech(speech)result[0][0]書いてある通りの実行方法で上手く行き、最初はエラーは何も生じませんでした。実行にはrea
MambaはS4に入力を選択的に記憶/忘却をできるよう重み、間隔幅を入力に応じて変える仕組み（S6）を導入。高速メモリ内で内部状態を展開し、Parallel Scanを利用。SSMは性能がTransformerに匹敵しつつあり効率的なため今後多くの問題でTransformerに置き換わる可能性が高い ht
MusicLM: Generating Music From TextPresents MusicLM, a model for generating high-fidelity music from text. MusicLM generates music at 24 kHz that remains consistent over several minutes.proj: https://t.co/8vzBONkPe3abs: https://t.co/vzW01q7VpHdata: https:
PythonでC／C++に匹敵する実行速度を実現 米MITなどコンパイラ「Codon」開発https://t.co/3LeXsI8zKa pic.twitter.com/SFGg03JGK9— ITmedia NEWS (@itmedia_news) March 23, 2023 /bin/bash -c "$(curl -fsSL https://exaloop.io/install.sh)"これでインストール出来ま
GAS からの場合、 Twitter API V2でOAuth2.0認証のやり方のように簡単にはいきません...上手く行かなかった所だけ、理由まで含めて書いておきます。OAuth2 ライブラリのスクリプトIDは 1B7FSrk5Zi6L1rSxxTDgDEUsPzlukDsi4KGuTMorsTQHhGBzBkMun4iDF です。OAuth1 の
最近のtext to imageモデルは、プロンプトに沿った画像を生成する能力を持ちますが、この生成モデルでは画像編集は困難です。本研究ではプロンプトの編集で画像を操作する事について取り組みます...One finds new pseudo-words in the embedding space of a language mode
自然言語では2030～2040ぐらいには枯渇しそうとの事ですが高品質データはそれよりも圧倒的に早く、2027年にはかなり確実に枯渇するとの予測です。最近の言語モデルがデータ量依存なのであれば、今のままだと割と早く性能の限界が来ると...高品質データを作る作業をしたと
まず、アカウント申請します。Developer Portal の画面で key,tokenが既にあるならば、おそらくregenerateになりますが、無い場合は、ボタンがgenerateのままになっていると思います。当然これらは作らなければなりません。............................
データセットにも無責任な文例が多数存在するが、モデル自体も、それに基づいたHallucinationを増幅させる。しかし研究対象としたモデルが1世代ぐらい前（GPT-2等）なので、より新しい例えばchatGPT等のHallucinations等には正確には対応しないのでは...？ 大規模言語モ
ChatGPTで「論文から非常に正確なデータ抽出」できるとの報告https://t.co/uOLCvV2lnEウィスコンシン大学の研究者らによると、ChatGPTに適切なプロンプトを与えるだけで、論文から高精度なデータ抽出が実現できる。前提条件の入力は不要。他の会話型大規模言語モデルでも使
2023/4/6時点で、Azure OpenAIではchatGPT（gpt-35-turbo）GPT-3（davinci,curie,babbage,ada）Codex（davinci,chshman）embedding（davinci,curie,babbage,ada）等が利用出来ます...独自データで言語モデルの再学習を試した人は現時点ではほとんどいないでしょうか？
Instruction-following models are now ubiquitous, but API-only access limits research.Today, we’re releasing info on Alpaca (solely for research use), a small but capable 7B model based on LLaMA that often behaves like OpenAI’s text-davinci-003.Demo: htt
言語生成AIは文章を“盗作”しているのか？ 21万件の文章から米国の研究者らが分析https://t.co/BBXdgH7ysA pic.twitter.com/CxKfjm5NyH— ITmedia NEWS (@itmedia_news) February 21, 2023 Do Language Models Plagiarize?Jooyoung Lee, Jinghui Chen, Dongwon Lee Pen
Diffusion-lm improves controllable text generation.Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto Stanford UniveristyarXiv preprint arXiv:2205.14217 (2022).再トレーニングなしで言語モデルを制御することは、自然
Stanfordの研究者による論文「GitHub CopilotなどのAI補助ツールを使ったプログラマは、よりセキュアでなくバグも多いコードを書いてしまう。にもかかわらず彼らは、そのコードが (AI補助のために) 通常よりも品質が高いと思い込みがちである」https://t.co/N52yvzZ5YZ— 新
【褒めは伝搬する？】ロボットに褒められた人は、パフォーマンスが向上し、不安が減るだけではなく、他人を褒めるようになる、という効果を調べた研究が論文になりました。ちょっと凝った実験設定で、褒めるだけじゃなくて煽った場合も調べています。https://t.co/5AFKU7redr
この研究面白いな.. 人の目には見えないノイズを画像に追加することで、Stable Diffusionなどのモデルでの学習、スタイルの模倣を困難に。アーティストのためのAdversarial examples的なもの!? GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models https:
ポケモンの名前をランダムフォレスト（機械学習）で分析した論文も出ました！https://t.co/BLoryPMoLS1月から飛ばしますねー（努力したのは去年ですが）。— Shigeto Kawahara@Keio (@PhoneticsKeio) January 6, 2023 Random forests, sound symbolism and Pokemon evoluti
https://github.com/abhayp2204/Music-GeneratorこのプロジェクトはWaveNetとLSTMによる自動音楽生成に焦点を当てます。WaveNet の構造は、言語モデルに似ています。次の単語を予測する代わりに、音符とコードから次の音符を予測します。手順複数のMIDIファイルから
Generating lead sheets with affect: A novel conditional seq2seq framework.Dimos Makris, Kat R. Agres, Dorien HerremansInternational Joint Conference on Neural Networks (IJCNN). IEEE, 2021.ディープニューラルネットワークによって自動作曲は進歩しましたが
https://t.co/QiZj6TZjoTChatGPTが書いた文章かどうかを機械学習で判別する研究。ChatGPTの生成文書は感情ではなく経験を記述し、丁寧であり、詳細には入らず一般的な用語で表現する、という傾向があることを発見。 pic.twitter.com/EoOoxz7ldC— akira (@AkiraTOSEI) Februa
以前から試していたのですが何故か上手くいかなかったので...まずgoogleアカウントのセキュリティから2段階認証を有効にします。そしてアプリパスワードを発行します。このアプリパスワードは、おそらく16桁固定です。そうしてからgmailアドレスと、このアプリパス
