独立評価
パフォーマンス結果。
500ページの正式な仕様で評価。マルチホップ推論と横断的統合を必要とする246の複雑な問題。結果は、クロード・ソネット4およびGPT-4で独立して再現されました。
99.95%
正確性 — 管理される
対 ベースライン 約70%
15×
トークンの削減
178k → クエリごとに12k
10×
遅延の改善
18～35秒 → 2–3秒
0
再訓練が必要
コンパイルによる更新
比 較
正確さに答える
43ポイント高い
クエリごとのトークン
15× トークン数を削減
応答遅延
10×高速
ツールコール/質問
通話数を10時間短縮
インデックス構築
桁違いの注文がより速くなる
更新のための再トレーニング
完全に排除された
スコープ外のクエリ
決定論的拒否
回答ごとの監査手順
完全なトレーサビリティ
インフラのインプリケーション
ガバナンスが正しいと、コスト曲線はリセットされる。
ARCが管理する中規模オープンウェイトモデル(~70Bパラメータ)は、ガバナンスなしで実行されるフロンティアのクローズドウェイトモデルを、推論コストのごく一部であり、完全なデータレジデンシブの柔軟性を備えている。
精度の向上とコスト削減は、同じメカニズムから生じる。つまり、スコープ付きコンテキストは注意力の希薄化を少なくする。注意力の希薄化が少ないと、推論エラーが少なくなります。両方の効果は複雑になる。
which model支配変数はもはやどのモデルであるかではない。how well the semantic constraints are defined意味的な制約がどれだけ明確に定義されているかが問題である。
70B
オープンウェイトを統括
フロンティアの精度を、より低い推論コストで、完全なデータレジデンシブと照合します。
GPT-4
統治のないフロンティア
推論コストが高く、データレジデンシー保証がなく、複雑なコンプライアンスクエリでは約70%の精度。
GPT-4
統治されたフロンティア
99.95%の精度。ガバナンス層は、代替ではなく、あらゆるモデルにとって付加的なものである。
インフラのインプリケーション
ガバナンスが正しいと、コスト曲線はリセットされる。
ARCが管理する中規模オープンウェイトモデル(~70Bパラメータ)は、ガバナンスなしで実行されるフロンティアのクローズドウェイトモデルを、推論コストのごく一部であり、完全なデータレジデンシブの柔軟性を備えている。
精度の向上とコスト削減は、同じメカニズムから生じる。つまり、スコープ付きコンテキストは注意力の希薄化を少なくする。注意力の希薄化が少ないと、推論エラーが少なくなります。両方の効果は複雑になる。
which model支配変数はもはやどのモデルであるかではない。how well the semantic constraints are defined意味的な制約がどれだけ明確に定義されているかが問題である。
方法論
コーパスのテスト
500ページの正式な仕様——緻密で相互接続された義務グラフを持つ構造化された規範的文書。コーパスは、その複雑さと、さまざまなセクションにわたるマルチホップ推論の要件から選ばれた。
問題デザイン
マルチホップ推論、横断的統合、および正しい管轄権のスコーピングを必要とするように設計された246の質問。このセットは、誤った陽性(自信を持って答えを返した)と誤った否定(正しい情報が拒否された)の両方を暴露するために作られた。
モデル構成
管理された構成と管理されていない構成の両方が、同一の基礎LLMを使用した。モデルの重みやサンプリングパラメータに変更はありません。管理された設定は、推論時にARCの取り締まりレイヤーのみを追加します。
生 殖
完全な評価は、クロード・ソネット4およびGPT-4で独立して再現された。両方のモデルにおいて、対象構成および未管理構成の両方で結果が一貫して維持された。