某单位跟风上了deepseek，但接入应用后员工发现根本无法使用，还不如官方网页版好用，更别提按行业特性的定制。于是L就尝试自己搭建本地模型，此时我们恰好相遇，聊起此事。L想自己买一台5080显卡，总价在2万左右的台式机跑32B量化模型。但我觉得还是现在本地试下模型能不能跑通，然后再考虑是否要买台式机。
对于本地部署AI模型我也不熟悉，于是再次请教博友老麦，老麦给我推荐了客户端CherryStudio 。得到这个思路后，就学习CherryStudio官方教程，数据的向量化，大模型的选择等。
其实L的需求也很简单，就是本地建立一个知识库，每次向量化50-100篇30页以内的pdf文件，然后用大模型推理，查询并整理投喂的文章内容。原来设想很容易，用CherryStudio+API，硅基流动Pro/BAAI/bge-m3模型向量化，然后用deepseek-ai/DeepSeek-V3推理。之所以用deepseek-ai/DeepSeek-V3，而不是deepseek-ai/DeepSeek-R1，就是担心R1输出内容长度不够。
但实际试验后，给知识库输入50篇pdf，推理时只能查询到4-6篇文章内容，远少于已知的32篇。以为是Pro/BAAI/bge-m3向量化有问题，于是更换阿里的通义text-embedding-v3模型向量化，qwen-turbo和qwen-max模型进行推理，结果依然只有4-6篇。然后进行混搭，比如用Pro/BAAI/bge-m3+qwen-turbo，问题如故。
再学习教程，说需要调高知识库请求文档分段数量（调整到20），调低分段大小（调整到400），将推理模型的模型温度调整到0.3，上下文数量调整到10，问题依然没有得到解决。
更换其他公司的模型尝试，结果和上述差不多，甚至还不如。
昨天突然看到腾讯的ima，下载并上传知识库后，用deepseek进行推理，及用腾讯的混元模型进行推理，结果都和以前的尝试差不多（甚至不如，因为基本上不可调整任何参数）。至此，所有的尝试都没有达到预期的效果，所以单独购买台式主机的想法也放弃了，因为搭建了本地模型也是这个结果。
AI近年突然火遍全球，平时用来替代搜索引擎确实不错，但想作为生产力可能还需要专人，甚至是团队来构建和优化，因为绝大多数人想要的可能就是按需定制。
此前，我一直困扰于Ai会让读书失去价值。因为按我预想，一生最多只能读2000册书（不算口水文的小说），AI向量化可能只需要3天左右，而此后就可以对书中内容信手拈来。人一辈子读这么多书，还存在边读边忘的问题，这样人和AI的阅读结果就会有很大的差距。但通过上面的尝试后，我发现在我粗浅的应用下，本地构建的AI很难向量化2000册书籍，并遍历知识库检索和整理书中内容，更别提用整个知识库进行推理了。而同样的问题，如果人读完了2000册书，就某个问题作答，可能也就思考几分钟而已，甚至可以秒回答。
人脑在记忆上完全不如电脑，但在推理上目前还是AI所不能比拟的。由此，我们也不用太为AI的到来而焦虑，它们还取代不了我们的大脑，就我们记录的日常吃喝拉撒文来说，AI就很难模拟，因为众多的个体导致我们每个人的生活都很多元，都是唯一，而AI有太强的共性。
没有尝试过大型机构搭建的知识库型AI，比如大学，科研机构的专业模型，是否可以向量化整个已出版的相关书籍，及在线期刊，然后做全量检索推理？如果真可以，那这就是我想象中AI该有的样子。
20 条评论