
很多人想在自己机器上跑 AI 模型,理由是不用付 API 费用、数据不出门、想怎么用就怎么用。这个想法没错,但账要算清楚。本地跑 AI 不是免费的,成本由四块构成:硬件、电费、时间、以及机会成本。这篇文章把这四笔账算给你看,再说清楚什么情况下本地跑划算、什么情况下直接用 API 更省。
硬件这笔账
能不能跑、跑多快,主要看显存。显存决定了能装多大的模型。
大致的对应关系是:显存八个 G,能跑七十亿参数级别的模型(量化之后),速度勉强能用;显存十六个 G,能跑一百三十亿级别,体验明显好转;显存二十四个 G,能跑三百亿级别,质量接近可用;再往上就是专业卡的天下了。
价格上,二手市场里十六 G 的卡大概一千多到两千,二十四 G 的三千到五千,新的更贵。整机算下来,一台能舒服跑中型模型的机器,主机成本在五千到一万之间。
这笔钱如果只是自己玩玩,算消费;如果是想省 API 费用,得算回本周期。假设每月省三百块 API 费用,一万块的机器要三十三个月回本。这个周期里硬件已经过时两轮了。
电费这笔账
这是最容易被忽略的一块。一张中高端显卡满载功耗在两百到三百五十瓦,整机加上 CPU、主板、风扇,满载能到四百到五百瓦。
按四百万瓦算,跑一小时是零点四度电。一天跑八小时是三度多,一个月一百度左右。按居民电价六毛算,一个月六十块。
听起来不多,但实际情况是:很多人是二十四小时挂着跑,那样一个月就是三百度,接近两百块。而且显卡长时间满载,风扇噪音和室温都会上来,夏天还得开空调,又是一笔。
所以电费的真实区间是每月五十到两百五十块,取决于你怎么用。这笔钱要算进成本,不能当它不存在。
时间这笔账
时间成本分两块,一块是搭建,一块是等待。
搭建成本:装环境、配驱动、找模型、调参数、解决各种报错。第一次搞,顺利的话一个周末,不顺利的话一周。这部分时间如果折算成钱,按最低标准也是一笔不小的投入。
等待成本:本地跑模型,生成速度取决于硬件。同一个提示词,云端可能三秒出结果,本地可能要三十秒甚至几分钟。如果你一天要生成几十次,等待的时间累加起来很可观。
还有一块隐形成本:本地跑的时候,机器基本被占住,别的事干不了。云端跑的话,你可以同时干别的。
质量差距这笔账
这是最容易被低估的一项。本地能跑的模型,规模通常远小于云端服务用的模型。规模小意味着:知识面窄、推理能力弱、长文本处理能力差。
实际表现是:简单的任务(改写句子、翻译短句、做分类)差距不大;复杂的任务(写长文、做多步推理、处理长文档)差距明显。
所以如果你的用途是"日常辅助",本地够用;如果是"生产内容",本地出来的东西需要更多人工修正,修正的时间也是成本。
什么情况下本地跑划算
四种情况。
第一种,数据敏感。处理的内容不能出本地,比如客户资料、内部文档。这种情况下没有替代方案,本地是唯一选择。
第二种,用量极大。每天几万次调用,API 费用会很高,本地跑虽然有固定成本,但边际成本接近零。这个临界点大概在每天几千次以上。
第三种,需要定制。自己微调模型、自己控制推理参数、自己改流程。云端服务给不了这个自由度。
第四种,学习和实验。想搞明白模型是怎么回事、想试各种玩法。这种情况下成本是学费,不算亏。
什么情况下别折腾本地
也是四种。
第一种,用量很小。一天用几次,API 一个月几十块,本地机器的钱够付好几年。
第二种,要最新最强的效果。本地永远追不上云端的旗舰模型,差距是数量级的。
第三种,没有折腾的时间。搭建和维护要持续投入,没这个精力就别开这个头。
第四种,机器本来就是办公用的。在同一台机器上跑模型,会拖慢其他工作,得不偿失。
折中方案
如果两边都不想放弃,有几个折中做法。
做法一,本地跑小模型做预处理,云端跑大模型做精加工。比如本地做分类和初筛,只把需要精细处理的少量内容送到云端。这样云端的调用量大幅下降,成本可控。
做法二,本地跑批处理任务,放在夜间。白天用云端做交互式的工作,晚上让本地机器跑批量任务,互不干扰。
做法三,租用按小时的 GPU 云主机。需要的时候开一台,用完就关。成本比买硬件低得多,也比纯 API 灵活。缺点是要传数据、要配环境,每次开机都要等。
算账的结论
把四笔账加起来看:一台五千块的机器,用两年,折旧每月两百;电费每月一百;时间成本折算每月两百(按每周五小时算);总成本每月五百左右。
五百块能买多少 API 调用?按目前主流价格,够几百万字的处理量。绝大多数个人站长的用量,远达不到这个量级。
所以结论很明确:纯粹为了省钱,本地跑不划算;为了数据安全、为了折腾、为了特定定制,本地跑有意义。
别被"本地免费"这个说法骗了。免费的是软件,不是电和机器。
