技能要求:
经验要求:
5-10年经验
工作描述:
项目编号:【189122】
你要做什么
1. 用PyTorch实现四个独立Transformer编码器,提取四维数据特征
2. 实现正交损失函数,约束四个维度的特征在嵌入空间中相互独立
3. 实现多任务预测网络,输出三组参数(响应调制、风格控制、状态追踪)
4. 改造开源基座模型(Qwen或LLaMA),将三组参数分别注入注意力层、前馈层、位置编码
5. 用HuggingFace PEFT库实现LoRA微调
6. 跑通基线模型vs本方案的对比实验,产出实验报告
你需要具备
1. 熟练使用PyTorch,能独立编写训练循环和自定义损失函数
2. 深入理解Transformer架构,能阅读和修改HuggingFace模型源码
3. 有LoRA/PEFT微调经验
4. 能独立管理云GPU环境
交付标准
1. 一个可运行的命令行推理脚本
2. 一组对比实验数据(基线模型 vs 本方案,评估人格一致性和情感适配度)
3. 一份简短的实验报告