A skill that automates the feedback loop of prompt → output → evaluation → improvement, iteratively optimizing AI output.
Overview
This skill automates a feedback loop that iteratively improves the quality of AI output. It evaluates the initial output, identifies issues, generates an improved prompt, and repeatedly queries the AI again, converging on the highest quality output.
Main Features
- Iterative Improvement: Automatically runs multiple feedback loops
- Quality Evaluation: Evaluates and scores each output from multiple angles
- Prompt Optimization: Improves prompts based on evaluation results
- Convergence Detection: Automatically stops when quality becomes sufficiently high
- A/B testing: Tries multiple approaches in parallel
- History Tracking: Records the improvement history of each iteration
- Best Output Selection: Selects the best output among all iterations
- Parameter Tuning: Automatic adjustment of temperature, top_p, etc.
- Improvement Strategies: Applies multiple improvement strategies
- Early Stopping: Stops when improvement plateaus
How the Feedback Loop Works
Basic Cycle
┌──────────────────────────────────────────┐
│ イテレーション N │
├──────────────────────────────────────────┤
│ │
│ 1. プロンプト生成/改善 │
│ ↓ │
│ 2. AIに問い合わせ │
│ ↓ │
│ 3. 出力を取得 │
│ ↓ │
│ 4. 品質評価(スコアリング) │
│ ↓ │
│ 5. 問題点の特定 │
│ ↓ │
│ 6. 改善戦略の決定 │
│ ↓ │
│ 7. 次のイテレーションへ │
│ または収束判定 │
│ │
└──────────────────────────────────────────┘
Iteration Example
Iteration 1: Initial Prompt
プロンプト:
「Reactについて説明してください。」
AI出力:
「Reactは人気のあるJavaScriptライブラリです。」
評価スコア: 35/100
問題点:
- 情報が不足(完全性: 30/100)
- 具体性に欠ける(具体性: 25/100)
- 例がない(実用性: 20/100)
改善戦略:
- 具体的な特徴を要求
- 使用例を含めるよう指示
- 構造化を要求
Iteration 2: Improved Prompt
プロンプト:
「Reactについて、以下の観点で説明してください:
1. Reactとは何か(概要)
2. 主な特徴(3つ以上)
3. 簡単なコード例
4. 使用される場面」
AI出力:
「# Reactとは
Reactは、Facebookが開発したUIを構築するためのJavaScriptライブラリです。
## 主な特徴
1. コンポーネントベース: 再利用可能なUIパーツ
2. 仮想DOM: 効率的な描画
3. 一方向データフロー: 予測可能な状態管理
## コード例
```jsx
function Welcome() {
return <h1>Hello, React!</h1>;
}
Use Cases
- Building SPAs
- Mobile app (React Native)
- Managing complex UIs"
Evaluation score: 72/100 Issues:
- Insufficient detail (Completeness: 70/100)
- Code examples are too brief (Practicality: 65/100)
Improvement strategies:
- Request more practical examples
- Add detailed explanations of each feature
#### イテレーション 3: さらに改善
Prompt: "Please explain React in detail from the following perspectives:
- What React is (including its history)
- Main features in detail (virtual DOM, components, Hooks, etc.)
- Practical code examples (using useState, useEffect)
- Pros and cons
- Suitable and unsuitable use cases"
AI output: [Detailed and comprehensive explanation]
Evaluation score: 91/100 Issues:
- Almost perfect, with slight room for improvement
Convergence detection: ✓ Reached target score (90 points) Best output: Iteration 3
## 評価基準
### 多角的スコアリング
```javascript
評価項目:
{
正確性: 25点, // 事実の正確さ
完全性: 20点, // 情報の網羅性
明確性: 15点, // 分かりやすさ
具体性: 15点, // 具体例の有無
構造: 10点, // 論理的な構成
実用性: 10点, // 実際に使える情報
読みやすさ: 5点 // 文章の質
}
総合スコア: 0-100点
Scoring Example
AI出力の評価:
正確性: 23/25
- ✓ 事実誤認なし
- ✓ 引用が正確
- ✓ 技術的に正しい
完全性: 14/20
- ✓ 主要な情報を含む
- ✗ いくつかの重要な点が欠落
- ⚠️ エッジケースの説明なし
明確性: 13/15
- ✓ 分かりやすい表現
- ⚠️ 一部の専門用語に説明なし
具体性: 10/15
- ✓ コード例あり
- ✗ より実践的な例が必要
構造: 8/10
- ✓ 見出しで整理
- ⚠️ 深い階層化が不足
実用性: 7/10
- ⚠️ 実際のプロジェクトへの適用が不明確
読みやすさ: 4/5
- ✓ 流暢な文章
総合スコア: 79/100
Improvement Strategies
Strategy 1: Elaboration
問題: 完全性スコアが低い(14/20)
改善アクション:
- プロンプトに「詳細に」「網羅的に」を追加
- 不足している項目を明示的に要求
- 例: 「エッジケースや制限事項も含めて説明」
Strategy 2: Structuring
問題: 構造スコアが低い(8/10)
改善アクション:
- 明確な見出し構造を要求
- 箇条書きの使用を指示
- 例: 「Markdownの見出し(#, ##, ###)を使用して構造化」
Strategy 3: Concretization
問題: 具体性スコアが低い(10/15)
改善アクション:
- より実践的な例を要求
- ユースケースの明示を指示
- 例: 「実際のプロジェクトで使用できるコード例を含めて」
Strategy 4: Simplification
問題: 冗長で読みにくい
改善アクション:
- 簡潔な説明を要求
- 重要なポイントのみに絞る
- 例: 「3-5文で簡潔に要約」
Strategy 5: Adding Few-shot
問題: 期待する形式で出力されない
改善アクション:
- 望ましい出力例を追加
- 例: 「以下の形式で出力してください: [例]」
Convergence Detection
Criteria
収束条件(いずれかを満たす):
1. 目標スコアに到達
- 総合スコア >= 90/100
2. 改善が頭打ち
- 3回連続でスコア改善が+2点未満
3. 最大イテレーション数
- 10回のイテレーションを完了
4. スコアの低下
- 前回より大幅にスコアが下がった(-5点以上)
- → 前回の出力を採用
Convergence Criteria Examples
イテレーション履歴:
1: スコア 35/100
2: スコア 72/100 (+37) ← 大幅改善、継続
3: スコア 91/100 (+19) ← 大幅改善、継続
4: スコア 93/100 (+2) ← 改善鈍化、継続
5: スコア 94/100 (+1) ← 改善鈍化、継続
6: スコア 94/100 (±0) ← 改善なし、収束判定
収束理由: 改善が頭打ち(3回連続で+2点未満)
ベスト出力: イテレーション 5-6(スコア 94/100)
A/B Testing Feature
Parallel Trial of Multiple Approaches
初期プロンプト: 「Reactについて説明してください」
イテレーション 1:
アプローチA(詳細化):
プロンプト: 「Reactについて、詳細に包括的に説明してください」
出力A: [詳細だが冗長]
スコア: 72/100
アプローチB(構造化):
プロンプト: 「Reactについて、以下の項目で説明:
1. 概要
2. 特徴
3. 例
4. 使用場面」
出力B: [構造化されているが簡潔]
スコア: 78/100
選択: アプローチB(スコアが高い)
イテレーション 2:
アプローチBをベースにさらに改善...
Parameter Tuning
Automatic Parameter Optimization
イテレーションごとにパラメータを調整:
イテレーション 1:
temperature: 0.7 # デフォルト
top_p: 0.9
→ 出力: やや曖昧
→ スコア: 68/100
イテレーション 2:
temperature: 0.3 # より決定論的に
top_p: 0.5
→ 出力: 明確で一貫性あり
→ スコア: 85/100
イテレーション 3:
temperature: 0.2 # さらに厳密に
top_p: 0.3
→ 出力: 非常に正確
→ スコア: 92/100
History Tracking
Recording Improvement History
{
"task": "Reactの説明",
"startTime": "2024-11-22T10:00:00Z",
"endTime": "2024-11-22T10:05:30Z",
"totalIterations": 5,
"finalScore": 94,
"iterations": [
{
"iteration": 1,
"prompt": "Reactについて説明してください。",
"output": "Reactは人気のある...",
"score": 35,
"evaluation": {
"accuracy": 8,
"completeness": 6,
"clarity": 7,
...
},
"issues": [
"情報が不足",
"具体例がない"
],
"strategy": "詳細化"
},
{
"iteration": 2,
"prompt": "Reactについて、以下の観点で...",
"output": "# Reactとは...",
"score": 72,
"improvement": 37,
"evaluation": {...},
"issues": ["コード例が簡潔すぎる"],
"strategy": "具体化"
},
...
],
"bestIteration": 5,
"bestScore": 94,
"convergenceReason": "改善が頭打ち"
}
Usage Examples
Basic Usage
以下のタスクをフィードバックループで最適化してください:
タスク: 「TypeScriptの型システムを説明」
目標スコア: 90点
最大イテレーション: 5回
自動的に反復改善を実行し、ベストな出力を返してください。
Advanced Settings
フィードバックループ最適化を実行してください:
タスク: 「Dockerのベストプラクティスをまとめる」
設定:
- 目標スコア: 92点
- 最大イテレーション: 7回
- 早期停止: 改善が3回連続で+2点未満
- パラメータ調整: 自動
- A/Bテスト: 2つのアプローチを並行試行
評価重視項目:
- 実用性: 30%
- 完全性: 25%
- 具体性: 25%
- その他: 20%
出力:
- ベストな結果
- 改善履歴
- 各イテレーションのスコア推移
Visualization of Gradual Improvement
タスク: 「GraphQLの利点を説明」
各イテレーションの改善を可視化してください:
出力形式:
1. イテレーションごとのスコア推移グラフ(テキストベース)
2. 各イテレーションの主な改善点
3. 最終的なベスト出力
4. 改善プロセスのサマリー
Custom Evaluation Criteria
タスク: 「React vs Vueの比較」
カスタム評価基準:
- 公平性: 30点(どちらかに偏らない)
- 網羅性: 25点(重要な観点をカバー)
- 実用性: 20点(実際の選定に役立つ)
- 正確性: 15点(技術的に正しい)
- 構造: 10点(読みやすい構成)
目標スコア: 85点
最大イテレーション: 6回
Advanced Features
Multimodal Optimization
テキスト + コード + 図表の最適化:
タスク: 「REST APIの設計ガイド」
各イテレーションで改善:
- テキスト説明の明確性
- コード例の実用性
- 図表の分かりやすさ(ASCII artまたはMermaid)
総合評価でベストな組み合わせを選択
Domain-Specific Optimization
技術ドキュメント向け:
- 評価基準: 正確性、完全性、例の質を重視
- 改善戦略: コード例の追加、APIリファレンスとの整合性
ブログ記事向け:
- 評価基準: 読みやすさ、関心度、SEOを重視
- 改善戦略: 見出しの最適化、キーワード配置
学術論文向け:
- 評価基準: 論理性、引用の正確性、形式を重視
- 改善戦略: 引用の追加、論理構造の強化
Team Evaluation Integration
複数の評価者による並行評価:
イテレーションごとに:
1. 評価者A(正確性重視): 82点
2. 評価者B(実用性重視): 88点
3. 評価者C(読みやすさ重視): 85点
平均スコア: 85点
評価者間の不一致が大きい場合:
→ 各評価者のフィードバックを統合して次のプロンプトを生成
Best practices
- Clear Goal Setting: Clarify what to optimize
- Appropriate Evaluation Criteria: Select evaluation items suited to the task
- Utilizing Early Stopping: Avoid wasted iterations
- Recording History: Enable analysis of the improvement process
- Utilizing A/B Testing: Try multiple approaches
- Parameter Tuning: Dynamically adjust temperature, etc.
- Validity of Convergence Criteria: Set target scores realistically
Limitations
- Increased cost: Multiple API calls are required
- Increased time: Iterations take time
- No guarantee of convergence: Improvement is not always guaranteed
- Subjectivity of evaluation: There are limits to the accuracy of automatic evaluation
Version Information
- Skill version: 1.0.0
- Last updated: 2025-11-22
Usage Examples Summary
Simple Optimization
タスク: 「Pythonの基礎を説明」
目標スコア: 85点
フィードバックループで最適化してください。
Optimization with Advanced Settings
タスク: [複雑なタスク]
設定: [詳細な設定]
カスタム評価: [評価基準]
反復改善を実行し、ベスト出力と改善履歴を提供してください。
With this skill, iteratively improve AI output and achieve the highest quality results!