2024-11-09 Topics

Hideki INOUE
Page content

2024-11-09 Topics

AI/ML全般

AI研究の最新動向や社会的影響を分析した「State of AI Report 2024」公開：AIにまつわる10の予測を発表 - ＠IT

Air Street Capitalが公開した「State of AI Report 2024」は、AIの社会的・経済的影響を分析し、技術の持続的かつ安全な発展を促進することを目的としています。レポートでは、研究、産業、政治、安全性、予測の観点からAI技術を評価し、特に「GPT-4」と他のモデルのギャップが縮まることがハイライトされています。

AIエージェント

[2411.03562] Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

Agent K v1.0は、データサイエンスの全ライフサイクルを自動化・最適化するエンドツーエンドの自律型エージェントです。経験から学び、複雑な推論タスクを処理するために柔軟な構造化推論フレームワークを活用します。Kaggleコンペティションを通じて評価された結果、92.5%の成功率を達成し、Elo-MMRスコアで人間の競技者の上位38%にランクインし、Kaggleグランドマスターと同等のパフォーマンスを示しました。

AI倫理

【ゆっくり解説】インターネット崩壊最前線！AIがWikipediaで暴れてるぜ！ - YouTube

コンテンツなし

AI創薬

有限温度系の拡散モデルによる分子構造生成 - Preferred Networks Research & Development

本記事では、有限温度系の拡散モデルを用いた分子構造生成について、データ学習型と物理方程式学習型のアプローチを比較し、それぞれの利点と課題を探ります。データ学習型は訓練が容易で定性的な構造生成に適している一方、物理方程式型は定量的な物性予測に向けたブレイクスルーが期待されるが、学習が難しいことが示されています。また、生成モデルを用いた材料探索には高精度な機械学習ポテンシャルが不可欠であることが強調されています。

AI経済

原子力発電所直結のAmazonのデータセンターによる使用容量拡大を規制当局が拒否 - GIGAZINE

ペンシルベニア州のAmazonデータセンターがタレンエナジーのサスケハナ原発からの電力供給量を300MWから480MWに拡大する契約修正を求めたが、連邦エネルギー規制委員会(FERC)が拒否した。FERCは送電網の信頼性や消費者コストへの影響を理由に投票を行い、タレンエナジーはこの決定が地域経済に悪影響を及ぼすと非難している。

「AIバブル崩壊」の足音と「AI副業」のデメリット｜しらいはかせ(AI研究/Hacker作家)

AIバブル崩壊のシナリオとして、nVIDIAの訴訟、SakanaAIへの失望、AI副業の問題点が挙げられています。特にAI副業は、本業で稼げない人の逃げ口や遵法精神の欠如、計算の甘さ、要件定義やPM能力の不足など、多くの問題を抱えています。これにより、AI副業がサブプライムショックを引き起こす可能性があると警告されています。AI技術の正しい活用には倫理観や法令遵守が不可欠であり、業界の健全な発展が求められています。

AIモデルClaude開発のAnthropicが防衛産業向けにAIを販売すると発表 - GIGAZINE

AnthropicはPalantirおよびAWSと提携し、アメリカの諜報機関や防衛機関にAIモデル「Claude」を提供することを発表しました。このパートナーシップにより、各防衛機関はPalantirの高セキュリティ環境でClaudeを運用できるようになります。AnthropicはAIの使用に制限を設け、偽情報や兵器設計への利用を禁じています。また、AmazonはAnthropicに対して数十億ドルの投資を交渉中で、Anthropicはヨーロッパへの進出も計画しています。

AWS

AWS、NewSQLデータベース「Amazon Aurora PostgreSQL Limitless Database」を正式提供開始 | DevelopersIO

AWSが「Amazon Aurora PostgreSQL Limitless Database」を正式に提供開始しました。このNewSQLデータベースはPostgreSQL/MySQL互換で、シャーディングによる性能向上が特徴です。Aurora Limitlessは動的なリソーススケーリングや高精度の時刻同期を提供し、使いやすさが向上しています。データベースの設定や接続方法、テーブル作成の手順も詳しく説明されており、特にシャーディングを活用したテーブル設計が重要です。料金はACU単価で、PostgreSQL 16.4に基づいています。

LLM

[2410.16454] Does your LLM truly unlearn? An embarrassingly simple approach to recover unlearned knowledge

大規模言語モデル（LLM）は、テキスト生成において優れた能力を示していますが、トレーニングデータの多様性から不要な行動を取得する可能性があります。機械的な忘却は、問題のあるコンテンツの影響を取り除くための解決策として導入されましたが、既存の忘却手法が本当に知識を忘却しているのか、単に隠しているのかはほとんど注目されていません。この論文では、量子化を適用することで「忘れられた」情報が復元されることを示し、さまざまな量子化技術を用いた実験を通じて、忘却した知識の平均21％が保持され、4ビット量子化後には83％に増加することを発見しました。これに基づき、理論的な説明と量子化に強い忘却戦略を提案しています。

Anthropic、「Claude 3.5 Haiku」提供開始　前版から4倍の値上げ - ITmedia NEWS

米Anthropicは「Claude 3.5 Haiku」を発表し、価格は入力トークン100万個当たり1ドル、出力トークン100万個当たり5ドルとなり、前バージョンから4倍の値上げとなった。画像入力には未対応だが、将来的には対応予定。開発者はAPIを通じてコスト効率を重視した提供を続けると述べている。

LLMOps

LLMOps : ΔMLOps - Speaker Deck

コンテンツなし

[2410.21228v1] LoRA vs Full Fine-tuning: An Illusion of Equivalence

LoRAとフルファインチューニングの違いを分析し、両者の学習した解が本当に同等であるかを検討した結果、LoRAによって生成される重み行列はフルファインチューニングとは異なる構造を持ち、特に「侵入次元」と呼ばれる新しい高ランクの特異ベクトルが現れることが分かった。これにより、LoRAモデルはターゲットタスクで同等の性能を達成しても、事前学習分布のモデルとしては劣化し、複数タスクへの適応が不十分になることが示された。最終的に、侵入次元の出現理由とその影響を最小限に抑える方法について考察した。

ISO 42001: 責任ある AI を推進する新たな基礎となる国際規格 | Amazon Web Services ブログ

ISO 42001は、AIシステムの責任ある管理のための国際的なガイドラインを提供し、リスク管理や公正性を強調します。この規格は、AIの開発と展開における信頼を築く手段として重要であり、AWSはその策定に積極的に関与しています。国際規格は、責任あるAIソリューションの開発を促進し、業界の混乱を減少させる役割を果たします。

NLP

PyMuPDFが進化！PDFデータ抽出の超強力ライブラリ爆誕「PyMuPDF4LLM」 #Python - Qiita

PyMuPDF4LLMは、PDFからのデータ抽出を強化するツールで、テキストや画像、表を高品質で抽出可能。特にLLMのファインチューニングやRAGシステムに最適で、Markdown形式でのデータ取得もサポートしています。

ドキュメントファイルの解析と変換に特化したオープンソースツール「docling」を試してみた | DevelopersIO

オープンソースツール「docling」は、文書ファイルの解析と変換に特化しており、AIモデルを活用してPDFやWordなどをMarkdownやJSONに変換できます。日本語文書の変換結果は概ね期待通りですが、複雑なレイアウトの再現には課題があります。

エディタ

ぼくがかんがえた最強の Visual Studio Code カスタマイズ 2024

Visual Studio Codeのカスタマイズに関する記事で、シンプルでミニマルな見た目を重視。具体的なカスタマイズ内容には、配色テーマやファイルアイコンテーマ、エディタフォント、行の強調表示、カーソルのアニメーション設定などが含まれ、各設定のコード例も提供されている。作業中に不要な要素を非表示にする設定も提案されている。

セミナー

一般社団法人データサイエンティスト協会 11th シンポジウム | 一般社団法人データサイエンティスト協会11thシンポジウム

コンテンツなし

モダンデータスタック

2024年10月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB | DevelopersIO

2024年10月にリリースされたSnowflakeの新機能には、AWS PrivateLinkの一般提供、Hybrid Tableの導入、Snowparkからの外部ネットワークアクセスのサポート、Jinja2テンプレートを使用したSQLのプレビュー機能、合成データ生成機能などが含まれています。また、Document AIやCortex Searchの一般提供も発表され、データ品質モニタリングや自動クラスタリングのコスト見積もり機能も追加されました。

[新機能]Snowsight上でテーブル・ビューなどオブジェクト間のデータリネージを見ることができるようになりました | DevelopersIO

Snowflakeの新機能により、Snowsight上でテーブルやビューなどのオブジェクト間のデータリネージを確認できるようになりました。サポートされているオブジェクトには、通常のテーブルやビューに加え、StageやML関連のFeature ViewやModelも含まれます。リネージを確認するには

ロボティクス

Meta、リアルの世界でロボットに人間的な感覚を与えるAIツールを公開 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

Metaは、ロボティクスと実体型AIシステムに関する重要な発表を行い、触覚認識、ロボットの器用さ、人間との協働に焦点を当てた3つの研究アーティファクト「Sparsh」「Digit 360」「Digit Plexus」をリリースした。これにより、ロボットがより複雑なタスクを達成できるようになることが期待されている。また、新しいベンチマーク「PARTNR」を通じて、人間とロボットの協働におけるAIモデルの有効性を評価することも目的としている。