嵌入与余弦相似
老茶商收茶四十年,最头疼的不是辨味,是记味。后来他不写评语了,只给每款茶问五件事:多甜、多涩、多香、多回甘、多耐泡,每件答一个 −10 到 +10 的数,写成五格一张卡。
怪事就这么出来了:桂花乌龙的卡和栀香绿茶的卡,字面上一处不重,五格却几乎指同一个方向;而他最爱的岩茶数字很大,方向偏偏拐向另一头。有人来问「这两款是不是一路货」,他不比浓淡,只比方向——两张卡指得越齐越像,指得越反越不沾边。从此柜子里的茶不按产地排,按方向排。
这就是嵌入与余弦相似。
故事里的人事物,对应的是:
· 五个问题的答案 = 语义被压成的那串数字(嵌入)
· 一张五格卡 = 一句话在语义空间里的坐标
· 方向一致 = 语义相近(夹角小),哪怕用词完全不重叠
· 卡的浓淡大小 = 向量模长,比远近时要先把它撇开(归一化)
· 客人问「是不是一路货」 = 检索时按相似度给候选排序
来自 Galileogalileo.hk