審判のコード化：プログラム蒸留によるスケーラブルな評価

Codifying the Judge: Scalable Evaluation via Program Distillation

日本語要約

本論文は、AIシステムの評価ジャッジをコード化するためのスケーラブルな技術としてプログラム蒸留を導入します。複雑なジャッジ関数をより単純なプログラムに蒸留することで、自動化された一貫した評価を可能にします。これにより、AIモデルのベンチマークと監査の効率と公平性が大幅に向上する可能性があります。

English Summary

This paper introduces program distillation as a scalable technique to codify evaluation judges for AI systems. It allows for automated and consistent evaluation by distilling complex judge functions into simpler programs. This could significantly improve the efficiency and fairness of AI model benchmarking and auditing.