リサーチとIP
公開されました。
特許出願中。
この方法論は広範にわたって文書化されており、既存のDOIを含む5つの公開されたピアアクセシブルな出版物が含まれている。より広範なアーキテクチャ、言語構造、および独自の手法は、提出された仮特許出願によってカバーされている。
インフラのインプリケーション
ガバナンスが正しいと、コスト曲線はリセットされる。
ARCが管理する中規模オープンウェイトモデル(~70Bパラメータ)は、ガバナンスなしで実行されるフロンティアのクローズドウェイトモデルを、推論コストのごく一部であり、完全なデータレジデンシブの柔軟性を備えている。
精度の向上とコスト削減は、同じメカニズムから生じる。つまり、スコープ付きコンテキストは注意力の希薄化を少なくする。注意力の希薄化が少ないと、推論エラーが少なくなります。両方の効果は複雑になる。
which model支配変数はもはやどのモデルであるかではない。how well the semantic constraints are defined意味的な制約がどれだけ明確に定義されているかが問題である。
方法論
コーパスのテスト
500ページの正式な仕様——緻密で相互接続された義務グラフを持つ構造化された規範的文書。コーパスは、その複雑さと、さまざまなセクションにわたるマルチホップ推論の要件から選ばれた。
問題デザイン
マルチホップ推論、横断的統合、および正しい管轄権のスコーピングを必要とするように設計された246の質問。このセットは、誤った陽性(自信を持って答えを返した)と誤った否定(正しい情報が拒否された)の両方を暴露するために作られた。
モデル構成
管理された構成と管理されていない構成の両方が、同一の基礎LLMを使用した。モデルの重みやサンプリングパラメータに変更はありません。管理された設定は、推論時にARCの取り締まりレイヤーのみを追加します。
生 殖
完全な評価は、クロード・ソネット4およびGPT-4で独立して再現された。両方のモデルにおいて、対象構成および未管理構成の両方で結果が一貫して維持された。