民用显卡上本地运行的AI模型的局限性

        26年4月27日我部署好本地AI。

        取漫画中的带有我所不知道的生词的一句话，让本地AI为我解析。前面的效果还满意，直到遇到了一句话“にゃろう！！ガンたれてやがる．．．上等じゃねーか”。依次尝试了openai/gpt-oss-20b、deepseek-r1-distill-qwen-14b、qwen/qwen3.6-35b-a3b，均没有正确给出意思。


        同时，尝试了Gemini 3 Flash。它给出了正确的解析。


        问Gemini 3 pro为什么会这样。回答大意：本地跑 35B 模型，为了保证能在消费级显卡或内存上运行，在训练时必须做取舍。它会优先保留世界上最常用的知识（如英语、Python 代码、标准中文和日语），而像“日本不良少年黑话”这种属于“长尾知识（Long-tail Knowledge）”（作者注：P.S. 没那么常用的知识），在 35B 的参数压缩过程中很容易被稀释甚至丢弃。而 Gemini 是运行在 Google 庞大的数据中心上的，参数量级巨大，几乎保留了所有长尾知识。


        因此，在民用显卡上运行的AI模型，就像阉割掉了许多“课本上没有”的知识的死板理科生，只能跑跑最通用、常见的任务。起码，知识量稍微偏广、对应知识稍微小众（没那么正经的知识）的任务，不太行。也许可以考虑那些不太需要知识量（需要的额外知识量足够你写成prompt放进去那种）、或者知识相对大众/正经的任务。

评论

发表评论

此博客中的热门博文

简单聊聊今年的日语学习

图片
2026.01.30补：成绩出来，日语N2合格，语言41分、阅读35分、听力30分，合计106分。 猜测这个考试其实是众数制。即，策略为：从众。听力我没有能听懂的题，但是因为大家都不会，所以变相地“从众”了，因此被给分了吧。 2026.04.25补： 英语学习之路 。截止自今日，该博文目前依然在更新。 ---------- 1月份，工作期间，学五十音。买了 Write it! Japanese  这个应用来练五十音、假名书写、假名背诵。花了两周。 3月份~5月份。每天9小时，但有时分心去干别的事，有时就一整天甚至几天没学。《大家的日语初级》上下两册，系统地过了一遍。结合了 Anki软件 进行背诵， 别人制作的大家的日语的词汇卡包 ，和我看 出口仁语法讲解 时，自己自制自用的语法词汇卡（出口仁讲课时的黑板，截图、制成图片遮盖卡）。 5月份~6月份。每天9小时，但有时分心去干别的事，有时就一整天甚至几天没学。背了一遍 一个开源的用于JLPT考试的卡包 ，背里面的N5~N2牌组。但发现真正的成本在于词汇的持有，也就是复习。全背完后，复习了几天之后放弃了这个牌组，不然没时间用来准备7月的N2考试其他部分。 6月份~6月中旬。每天9小时，但有时分心去干别的事，有时就一整天甚至几天没学。新完全掌握N2，语法走了七八课。期间制了语法卡，背起来相当耗时。卡的信息，主要在ChatGPT生成的信息中挑出必要的一部分来放进去。每日背诵新制作的卡、复习旧卡。 6月中旬到7月初。每天9小时，但有时分心去干别的事，有时就一整天甚至几天没学。考前一周。做了2016年的卷子消化。用ChatGPT进行消化。新东西就制成Anki卡。每日背诵新制作的卡、复习旧卡。消化的时间很长。一张卷子一星期我好像没消化完，然后就考试了。 真题，是到一个越南人 做的网站 上做的。我对此写了个 油猴脚本 。方便做一题看一下答案。然后进行消化。越南人可能不懂汉字的原因，题目错误很多，但好在可以评论，把改成后的说一下，一般两三天内管理员会订正它。反正我说了一堆。5月中旬，通过GPT的DeepResearch得知了一个 备考策略的文章 。但我的时间已经很紧，无法跟着用了。这篇文章对我的参考价值很大。 【2026.01.31补：真题有个 中文网站 。越南那个真题网站不对的时候我会去这里看看。但现在打不开，也许放...
阅读全文

25年7月6日。日语N2考试，流程，记录。

 考场我就不说在哪里了。我不希望暴露我的所在地。 忘了几月几日，是开始报名的那天。早上8点还是9点，不记得了。 我只记得，到了开始时间之后，热门的地区，几分钟之内，名额就满了。以及网站一直报说压力过大，稍后再来。后面摸索出来，这个时候要无视压力提示，快速重复点按钮、挤进去，然后才能成功。 我运气很好，我所在地不是最热门的地区，所以在15分钟左右的时候，我险胜，报上了。费用是550元。跟雅思那些两千块的报名费相比，好很多了。 6月30日下午2点，准考证可以打印。准考证的网站上看到了学校的公告链接。点击，跳转到了到学校的官网处。得知了大概地点。开始定酒店，定的一个最近的青旅。也担心预定不到。 7月5日。到达青旅，上铺。睡一晚。 7月6日。 早上6点45分起。洗漱吃饭，7点半到达校门口。站了一会儿，校门口可以进了。在教学楼下等。很多人在等。大部分人看起来是大学生。准考证上有写几零几，是教学楼的室号。 8点20分。开始可以进场。到了教室门口，排长队，一个一个进。 只能带橡皮、2B铅笔、准考证、身份证进去。 其他物品，如水笔、包、水、食物、手上的手表（无论电子还是机械）、手机等，不被允许带进去。 进去教室后，座位上有贴准考证号，找到自己的。有顺序，好找。 一个教室好像有六七十个考生的样子。入座之后很安静，除了考官，没有考生闲聊讲话。 发考卷、答题卡。考卷是一个文法、阅读的小册子，答题卡是两张，一张阅读的一张听力的。 考官要求我们在两张答题卡、卷子上，写上自己的名字、出生日期、准好证号（卷子）。其中，名字要用大写的拼音写，而不是写中文。 9点到，开始考试。 10点45分，笔试部分结束。 10点45分~10点55分。 考生不可离开座位、教室。而水、食物，我都放在教室外的置顶区域。 此期间没有看到有人去上洗手间。 此期间考官在收笔试的试卷、答题卡。收完后发听力的试卷。同开始一般，写上名字。 10点55分~11点45分。听力。 听力考试结束，要求放下笔。考官收卷子。收完卷子后，考官宣布可以走了。 考试结束。 考试期间，我注意到有一个考生跟考官沟通，说自己实在肚子疼，去一趟厕所。考官同意。有且仅有此例而已，没有别人。 卷子上的字很大，很清晰，看起来很舒服。
阅读全文

什么是系统？/ 系统视角

人们听到“系统”，第一反应是电脑软件。但我眼里，系统，是一种“让方方面面都有归宿”的机制。举例：生态系统。大鱼吃小鱼，是生存；大鱼死了被微生物分解，是回归；分解后的元素滋养了水草，喂饱了小鱼，是循环。这个圆圈里，生与死、吃与被吃，每一件事都有对应的“处理办法”。这就是一个运作良好的系统。 如果有人往水里倒了农药。大小鱼死光，微生物来不及分解，水质发臭。 这说明在这个“新变量”面前，原有的处理机制失效了。这就是系统的崩溃。或者说，它被迫演变成了另一个死寂的、只有微生物的“新系统”。 做系统，就是设计一套规则，让发生的每一件事，都能找到它的去处。 有这个视角的话，到处都是系统。比如自己的生活，什么时候吃饭、睡觉，这就是一套作息系统。比如自己对于要学习一样新的技能，会去怎么去学，这就是一套学习系统。
阅读全文