手头有一批垂直领域的客服日志，想微调一个 Llama 3 模型来提升回答准确率。但是数据清洗太痛苦了，很多对话包含 PII（个人隐私信息），还有大量的口语化表达和错误标注。直接用原始数据训，Loss 降不下去，模型开始背答案。大家一般用什么自动化脚本或者小模型来预处理这些脏数据？有没有开源的工具链能一键完成去重、脱敏和格式化为 JSONL？手动洗数据真的洗不动了。
Python
(0)
收藏
我要回答
暂无回答
我要回答