NotebookLM 的引用能定位到段了,我反而看出了几处不对
6 月 NotebookLM 上了来源归属。我拿它读行业报告,一份问十来个问题,引用能直接定位到段以后,每个答案都点开,结果发现有时它引的那段和结论并不相关。发现了就追问依据。结论最后进工作文档,旁边一直开着 ChatGPT 对照。会议记录还是不准,问题在转写本身。

年初我写过一篇,说用 NotebookLM 主要做三件事:读行业报告,整理竞品资料,翻会议记录。看中的不是它答得多顺,是答案旁边那条引用,能把我送回原文。那时候引用能指到文档,指不到段,回去还得自己翻。
6 月 5 日它上了来源归属功能。这段时间我主要拿它读行业报告。
一份报告,问十来个问题
我读报告的方式是问。一份报告丢进去,一般问十来个问题:市场规模多大,增速多少,几个细分方向各占多少,报告自己的判断是什么,依据是哪几个数。
问完这十来个,一份几十页的报告里我要的东西,大概就齐了。剩下的,是核。
能定位到段了
这次的变化就一点:引用能直接定位到段。点一下,原文那一段亮出来,不用翻。
省下来的时间,一次也就几十秒。但这几十秒,正好是我以前最容易偷懒的地方。以前引用只指到文档,一份报告几十页,翻两页没找到,我就算了,信它一次。
一份报告十来个问题,每个都要翻,加起来就不是几十秒了。以前真正核过的,大概只有其中两三个。现在每个答案,我都点开。
点开以后,看出有些引用和结论不相关
每个都点开以后,看到了一个以前没注意的问题:有时候它引的那一段,和它得出的结论并不相关。
它给出一个判断,旁边挂着引用,点开是报告里的一段,讲的却是别的内容,或者只是提到了相关的词,撑不起那个判断。结论不一定错,也许报告别处有依据,但它挂的这条引用撑不住。
以前引用只到文档,这个问题看不见。整份报告里总能找到相关的内容,我会默认它是从某处来的。定位到段以后,引用和结论之间的距离暴露出来了。
发现以后,追问它依据
发现这种情况,我的做法是追问:这个结论的依据在哪一段。
追问比自己去翻快,也比直接把结论扔掉好。它要么给出一段更贴的依据,要么就得把话收回来一点。不管是哪一种,我手上都多了一个判断:这个结论能不能用,能用到什么程度。
我没有把这件事当成它的缺点来记。一个会引错段的工具,只要能被追问,比一个从不给引用的工具好用得多。
结论进工作文档,旁边开着 ChatGPT
读完的报告,结论最后进的是工作文档。
所以我对引用这件事格外在意。进了工作文档的数,会被别人拿去用,拿去做判断。一个引错的数写进去,传出去的时候,已经没人记得它是从哪来的了。
读报告的时候,我旁边一般还开着 ChatGPT,做对照。同一个问题,两边各问一次,结论对得上,心里踏实一点;对不上,就是需要自己去核的地方。NotebookLM 的长处是引用贴着原文,ChatGPT 的长处是能跳出这一份报告,说说别的来源怎么讲。两个一起用,比单用一个稳。
看引用的目的变了
这件事让我注意到自己一个习惯的变化。
引用不准的时候,我看引用是为了防它编:它说的话,原文里到底有没有。引用准了,我看引用变成了核对:这一段是不是真的支持这个结论。
同一个动作,目的换了。前一种问的是信不信它,后一种问的是它说得对不对。行业报告尤其需要后一种。报告里预测值和实际值常常写在一起,不同来源的口径不一样,只有定位到段,才看得出它是不是把两处拼在了一起。
行业报告里,最容易被拼错的地方
读得多了,我大概知道行业报告里哪些地方最容易被引错。
一是同一个名词在不同章节指的范围不同。前面说的市场,可能是整个行业;后面说的市场,可能只是其中一个细分。答案里如果只写市场规模,挂的却是另一章的引用,数字就对不上口径。
二是图表和正文不一致。报告里的图常常有自己的注释和统计口径,正文引用的时候又换了说法。定位到段,能看到它引的是正文还是图注,两者经常不是一回事。
三是预测和实际混在一起。报告喜欢在同一段里既写去年的实际值,又写未来几年的预测值。答案里一个数,是哪一种,只有点开那一段才知道。
会议记录还是不准
三件事里,会议记录那部分还是不太准,但原因不在 NotebookLM。
问题在转写本身。录音转成文字,错字很多,人名、产品名、数字尤其容易错。NotebookLM 定位得再准,也只是准确地指向了一段本身就有错的话。
这件事要在前面解决,不在它这里。