2024-11-11 Topics

Hideki INOUE
Page content

2024-11-11 Topics

AI/ML全般

AI研究の最新動向や社会的影響を分析した「State of AI Report 2024」公開：AIにまつわる10の予測を発表 - ＠IT

Air Street Capitalが公開した「State of AI Report 2024」は、AIの社会的・経済的影響を分析し、技術の持続的かつ安全な発展を促進することを目的としています。レポートでは、研究、産業、政治、安全性、予測の観点からAI技術を評価し、特に「GPT-4」と他のモデルのギャップが縮まることがハイライトされています。

AIエージェント

[2411.03562] Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

Agent K v1.0は、データサイエンスの全ライフサイクルを自動化・最適化するエンドツーエンドの自律型エージェントです。経験から学び、複雑な推論タスクを処理するために柔軟な構造化推論フレームワークを活用します。Kaggleコンペティションを通じて評価された結果、92.5%の成功率を達成し、Elo-MMRスコアで人間の競技者の上位38%にランクインし、Kaggleグランドマスターと同等のパフォーマンスを示しました。

AI創薬

有限温度系の拡散モデルによる分子構造生成 - Preferred Networks Research & Development

本記事では、有限温度系の拡散モデルを用いた分子構造生成について、データ学習型と物理方程式学習型のアプローチを比較し、それぞれの利点と課題を探ります。データ学習型は訓練が容易で定性的な構造生成に適している一方、物理方程式型は定量的な物性予測に向けたブレイクスルーが期待されるが、学習が難しいことが示されています。また、生成モデルを用いた材料探索には高精度な機械学習ポテンシャルが不可欠であることが強調されています。

AI経済

AIモデルClaude開発のAnthropicが防衛産業向けにAIを販売すると発表 - GIGAZINE

AnthropicはPalantirおよびAWSと提携し、アメリカの諜報機関や防衛機関にAIモデル「Claude」を提供することを発表しました。このパートナーシップにより、各防衛機関はPalantirの高セキュリティ環境でClaudeを運用できるようになります。AnthropicはAIの使用に制限を設け、偽情報や兵器設計への利用を禁じています。また、AmazonはAnthropicに対して数十億ドルの投資を交渉中で、Anthropicはヨーロッパへの進出も計画しています。

「AIバブル崩壊」の足音と「AI副業」のデメリット｜しらいはかせ(AI研究/Hacker作家)

AIバブル崩壊のシナリオとして、nVIDIAの訴訟、SakanaAIへの失望、AI副業の問題点が挙げられています。特にAI副業は、本業で稼げない人の逃げ口や遵法精神の欠如、計算の甘さ、要件定義やPM能力の不足など、多くの問題を抱えています。これにより、AI副業がサブプライムショックを引き起こす可能性があると警告されています。AI技術の正しい活用には倫理観や法令遵守が不可欠であり、業界の健全な発展が求められています。

原子力発電所直結のAmazonのデータセンターによる使用容量拡大を規制当局が拒否 - GIGAZINE

ペンシルベニア州のAmazonデータセンターがタレンエナジーのサスケハナ原発からの電力供給量を300MWから480MWに拡大する契約修正を求めたが、連邦エネルギー規制委員会(FERC)が拒否した。FERCは送電網の信頼性や消費者コストへの影響を理由に投票を行い、タレンエナジーはこの決定が地域経済に悪影響を及ぼすと非難している。

AWS

週刊生成AI with AWS – 2024/11/4週 | Amazon Web Services ブログ

AWSの最新情報として、Amazon Bedrockのサービス利用上限に関するブログ記事や、生成AIを活用したアプリ開発の方法、責任あるAIのベストプラクティスに関する情報が紹介されています。また、AWS re:Inventに向けたウェビナーの開催や、生成AI実用化推進プログラムの募集も行われています。さらに、Amazon Q BusinessやAWS Clean Rooms MLの新機能、AnthropicのClaude 3.5 Haikuモデルの利用開始など、さまざまなサービスアップデートが発表されています。

週刊AWS – 2024/11/4週 | Amazon Web Services ブログ

2024年11月4週のAWSの主なアップデートには、Amazon SESのインラインテンプレート機能の追加、Amazon BedrockでのClaude 3.5 Haikuモデルの提供開始、AWS WAFによるCloudFrontリクエストの料金無料化、EC2でのWindows Server 2025の提供開始、ECSのサービスバージョン履歴表示機能、OpenSearch Serviceの次世代ダッシュボードの提供、LambdaでのJSONロギングのサポートなどがあります。また、11月15日に生成AIに関するAWSセミナーが開催される予定です。

LLM

[2410.16454] Does your LLM truly unlearn? An embarrassingly simple approach to recover unlearned knowledge

大規模言語モデル（LLM）は、テキスト生成において優れた能力を示していますが、トレーニングデータの多様性から不要な行動を取得する可能性があります。機械的な忘却は、問題のあるコンテンツの影響を取り除くための解決策として導入されましたが、既存の忘却手法が本当に知識を忘却しているのか、単に隠しているのかはほとんど注目されていません。この論文では、量子化を適用することで「忘れられた」情報が復元されることを示し、さまざまな量子化技術を用いた実験を通じて、忘却した知識の平均21％が保持され、4ビット量子化後には83％に増加することを発見しました。これに基づき、理論的な説明と量子化に強い忘却戦略を提案しています。

Anthropic、「Claude 3.5 Haiku」提供開始　前版から4倍の値上げ - ITmedia NEWS

米Anthropicは「Claude 3.5 Haiku」を発表し、価格は入力トークン100万個当たり1ドル、出力トークン100万個当たり5ドルとなり、前バージョンから4倍の値上げとなった。画像入力には未対応だが、将来的には対応予定。開発者はAPIを通じてコスト効率を重視した提供を続けると述べている。

LLMOps

Gemini is now accessible from the OpenAI Library - Google Developers Blog

開発者は、OpenAIライブラリとREST APIを介して最新のGeminiモデルにアクセスできるようになりました。初めはChat Completions APIとEmbeddings APIをサポートし、今後さらに互換性を追加する予定です。Python、TypeScript、JavaScript、RESTのコード例が提供されており、Gemini APIの詳細はAPIドキュメントで確認できます。Vertex AI Enterpriseの顧客向けにはOpenAI互換もサポートされています。

[2410.21228v1] LoRA vs Full Fine-tuning: An Illusion of Equivalence

LoRAとフルファインチューニングの違いを分析し、両者の学習した解が本当に同等であるかを検討した結果、LoRAによって生成される重み行列はフルファインチューニングとは異なる構造を持ち、特に「侵入次元」と呼ばれる新しい高ランクの特異ベクトルが現れることが分かった。これにより、LoRAモデルはターゲットタスクで同等の性能を達成しても、事前学習分布のモデルとしては劣化し、複数タスクへの適応が不十分になることが示された。最終的に、侵入次元の出現理由とその影響を最小限に抑える方法について考察した。

ISO 42001: 責任ある AI を推進する新たな基礎となる国際規格 | Amazon Web Services ブログ

ISO 42001は、AIシステムの責任ある管理のための国際的なガイドラインを提供し、リスク管理や公正性を強調します。この規格は、AIの開発と展開における信頼を築く手段として重要であり、AWSはその策定に積極的に関与しています。国際規格は、責任あるAIソリューションの開発を促進し、業界の混乱を減少させる役割を果たします。

LLMOps : ΔMLOps - Speaker Deck

コンテンツなし

Snowflake

SnowflakeのSQLにおける「*」（アスタリスク）の便利な利用法

SnowflakeのSQLにおける「*」の利用法について、SELECT句で全列を選択する便利さと注意点を解説。アドホッククエリでの使用は一般的だが、パフォーマンスや管理上の問題があるため、商用システムでは避けるべき。特定の列を除外したり、パターンマッチングを用いた選択、列名の変更など、さまざまな文法が紹介されている。

[新機能]Snowsight上でテーブル・ビューなどオブジェクト間のデータリネージを見ることができるようになりました | DevelopersIO

Snowflakeの新機能により、Snowsight上でテーブルやビュー間のデータリネージを確認できるようになりました。サポートされているオブジェクトには、通常のテーブルやビューに加え、StageやML関係のFeature View、Modelも含まれます。リネージを確認するには

エディタ

ぼくがかんがえた最強の Visual Studio Code カスタマイズ 2024

Visual Studio Codeのカスタマイズに関する記事で、シンプルでミニマルな見た目を重視。具体的なカスタマイズ内容には、配色テーマやファイルアイコンテーマ、エディタフォント、行の強調表示、カーソルのアニメーション設定などが含まれ、各設定のコード例も提供されている。作業中に不要な要素を非表示にする設定も提案されている。

セミナー

一般社団法人データサイエンティスト協会 11th シンポジウム | 一般社団法人データサイエンティスト協会11thシンポジウム

コンテンツなし

ロボティクス

Meta、リアルの世界でロボットに人間的な感覚を与えるAIツールを公開 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

Metaは、ロボティクスと実体型AIシステムに関する重要な発表を行い、触覚認識、ロボットの器用さ、人間との協働に焦点を当てた3つの研究アーティファクト「Sparsh」「Digit 360」「Digit Plexus」をリリースした。これにより、ロボットがより複雑なタスクを達成できるようになることが期待されている。また、新しいベンチマーク「PARTNR」を通じて、人間とロボットの協働におけるAIモデルの有効性を評価することも目的としている。

研究支援

aidantr.github.io/files/AI_innovation.pdf

この論文は、人工知能がイノベーションに与える影響を研究しており、AI支援の研究者が材料を44%多く発見し、特許出願が39%増加し、製品イノベーションが17%向上することを示しています。AIは57%の「アイデア生成」タスクを自動化し、トップ科学者はAIの提案を優先する一方で、下位の科学者はほとんど利益を得られないことが明らかになりました。しかし、82%の科学者が創造性の低下とスキルの未活用により仕事の満足度が低下したと報告しています。

自然言語処理

ドキュメントファイルの解析と変換に特化したオープンソースツール「docling」を試してみた | DevelopersIO

オープンソースツール「docling」は、文書ファイルの解析と変換に特化したPythonパッケージで、AIモデルを活用してPDFやWordなどのドキュメントをMarkdownやJSON形式に変換します。実際の使用例では、日本語の文書に対しても期待通りの文字情報抽出ができましたが、複雑なレイアウトの再現には課題が残り、特にページをまたぐ文章の連続性や数式の扱いに改善が必要です。今後の開発により、日本語文書の処理精度向上が期待されます。

PyMuPDFが進化！PDFデータ抽出の超強力ライブラリ爆誕「PyMuPDF4LLM」 #Python - Qiita

PyMuPDF4LLMは、PDFからのデータ抽出を強化したツールで、特にLLMのファインチューニングやRAGタスクに役立ちます。多機能なMarkdown形式でのデータ取得、柔軟な使用法、高解像度画像の抽出、表の整形など、多様なニーズに応える機能を備えています。これにより、研究論文や法律文書などの複雑なPDFを効率的に扱うことが可能です。