キーワードの意味
ベンチマークは、同じ条件のテストを使ってモデルの性能を比べるための基準です。数値は便利ですが、実際の業務データや利用者の評価と一致するとは限らないため、目的に合う評価も組み合わせます。
たとえば、こんな場面で
複数のモデルに同じ質問セットを解かせ、正答率や応答時間を比較します。
このキーワードが登場する用語
このキーワードをより詳しく知りたいときは、元になった用語ページも読んでみてください。
TERM評価（Evals）AIの回答や動作が、目的に合っているかを測ること。TERMLLM（大規模言語モデル）大量の言語データなどで学習し、文章の生成や要約を行うモデル。TERMAIエージェント目的に応じて手順やツールを選び、複数の作業を進めるAIシステム。TERMループエンジニアリングAIの実行・評価・修正の繰り返しに、フィードバックや終了条件を設計すること。TERMハルシネーションAIが、事実や与えられた資料と合わない内容をもっともらしく生成すること。TERMHuman-in-the-loopAIを使う処理の途中に、人の判断や確認を組み込むこと。TERMAGI（汎用人工知能）特定の仕事だけでなく、幅広い知的課題を人間のように学び、適応して解くAIの概念。TERMアジャイル小さく作って早く確かめ、変化に合わせて改善を繰り返す開発の考え方。