LoRA 低秩适配
一家老字号饭店的总厨手艺极好,可惜只会做本帮菜,如今要改做川菜。老板以为得把总厨送回学校重学三年。老掌柜摇头:手艺一个字都别动,给他配两个小徒弟就够。一个徒弟负责把客人的话压成窄窄一行、只留最要紧的几个字;另一个徒弟再把这一行撑开,翻成总厨要做的那道川菜。要学的新东西,全落在这两片薄薄的小本子上。总厨的手艺照旧,整个厨房照常开火,只是多了两个上手极快的徒弟。半年后要换粤菜,两个徒弟换一换,总厨还是那个总厨。
这说的就是 LoRA。
故事里的人事物,对应的是:
· 总厨十年手艺一个字别动 = 冻结预训练模型的主体权重
· 两个小徒弟 = 两个低秩小矩阵(先降维、再升维)
· "只改这两行翻译" = 只训练 A×B 那点增量,参数量远小于全量
· 换菜系只换徒弟 = 一个主干挂多个 LoRA,按任务即插即换
· 徒弟上手极快 = 训练成本从重训全模型降到小任务级
来自 Galileogalileo.hk