LLM Configuration 是用于配置 RuVLLM 的技能,面向本地推理与微调需求。
用途
当你需要配置本地 LLM 推理、为特定任务创建 MicroLoRA 适配器进行微调,或设置 SONA 以实现实时自适应时,可以使用该技能。
主要能力与使用方式
资料给出的步骤以 MCP 工具调用为主:
- 检查状态:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_status,查看当前模型与适配器状态。
- 生成配置:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_generate_config,传入模型参数以生成配置。
- 创建 MicroLoRA:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_microlora_create,创建面向具体任务的适配器。
- 适配 MicroLoRA:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_microlora_adapt,传入训练数据。
- 创建 SONA:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_sona_create,用于实时神经自适应。
- 适配 SONA:调用 mcp__plugin_ruflo-core_ruflo__ruvllm_sona_adapt,传入反馈信号。
MicroLoRA 与 SONA 的对比
资料提供了两者的差异说明:
- 速度:MicroLoRA 训练以分钟计;SONA 的适配时间小于 0.05ms。
- 范围:MicroLoRA 用于任务级微调;SONA 用于实时微调。
- 持久性:MicroLoRA 以适配器权重形式保存;SONA 为会话级(session-scoped)。
- 使用场景:MicroLoRA 适合专门领域任务;SONA 适合持续反馈回路。
适用场景
需要本地 LLM 推理配置、需要为特定领域任务建立可保存的微调适配器,或需要在会话中依据反馈做实时微调的场景。
限制
资料未提供支持的具体模型清单、硬件要求、权限与依赖、配置参数细节、安装方式、收费与价格等信息,暂未提供。