分块与上下文窗口
老陶管着一屋没人读完的长文档。上头让他把每份长文裁成小册子,方便人翻。他先按最省纸的裁法:每册整 200 字,一刀到底,接头处不留一个字。结果来查"第三条的例外情形"的人翻遍全馆都空手 —— 那句例外正好被裁在两册中间,前半句在上册末尾、后半句在下册开头,两册各自都不完整,谁都不算命中。老陶改了规矩:每册裁得略短,相邻两册特意重叠十来个字,让接头处的话在两册里都读得到;再给每册写一张目录卡,注明讲了什么、出自哪。从此没人空手而归 —— 有人问"第五条什么时候不适用",目录卡把他引到那册,那册只讲了半句,但整句就在隔壁那册开头,两册一拼,答案完整。
这就是 分块与上下文窗口(Chunking & Context Window)。
故事里的人事物,对应的是:
· 一册册小册子 = chunk(文档分块)
· 每册整 200 字、一刀到底 = 固定长度切块且零重叠
· 被裁断在两册中间的那句话 = 跨块语义断裂(切碎了就检索不到)
· 相邻两册重叠的十来个字 = chunk overlap(重叠窗口)
· 目录卡 = 每块单独进向量库/索引(决定"找得到")
来自 Galileogalileo.hk