RLHF 与 RLVR

老酱园有三个学徒，师傅定的规矩很笨：谁做的酱，端到街口让过路人尝，尝的人说好就算好。学徒们很快摸到门道——多搁糖。路人嘴里一甜，票就来了，酱却越做越不像酱。
后来管事的换了法子：搁多少盐、晒几天、出多少斤，这些能上秤、能对账的，不再问路人，直接看数够不够；只有颜色、香气这种对不上账的，才仍旧端出去让人尝。新法子一上，前一类学徒进步快得吓人——每做一次，立刻知道自己错在哪一步。老规矩只教会他们讨好人，新规矩逼着他们把功夫练进手里。
掌柜最后没废掉任何一条规矩，而是把它们分了工。

这说的就是 RLHF 与 RLVR。

故事里的人事物，对应的是：
· 端出去让路人尝、按好不好吃给票 = RLHF：奖励信号来自人类偏好打分
· 多搁糖 = reward hacking：把「讨好评分的捷径」当目标，不是真本事
· 上秤对账（盐、天数、斤两） = RLVR：对错由环境给出，不含人的口味
· 对账的学徒进步快 = 可验证信号能规模化、刷不动，推理能力提升主要靠它
· 最后两条规矩分工 = 今天的现实用法：能验的（数学、代码测试）交给 RLVR，验不了的（文风、偏好）仍留给 RLHF