某律师为了不把敏感资料上传云端，用 8 张 V100 搭建一台数千瓦功耗的本地 AI 服务器值得吗？

据 Tom’s Hardware 报道，一名律师为了避免将客户案件材料上传到云端，利用 8 张二手 Nvidia Tesla V100 显卡，搭建了一套完全本地运行的 AI 服务器。 这套设备拥有约 256GB HBM2 显存，可以在本地运行经过压缩的大模型。目前，它被用于读取案件资料、提取事实和日期、生成摘要，并起草常规法律文本。报道称，其代码生成速度最高约为 215 tokens/s，法律文本生成速度最高约为 118 tokens/s。律师同时强调，AI 生成的内容必须经过人工复核。 但这套方案的代价也很突出：8 张 V100 都是已经停产的旧款数据中心显卡；两套电源的总额定功率达到约 2800W；系统结构复杂，需要自行处理供电、散热、驱动和多卡通信；搭建过程中曾出现电源接头烧毁的问题；文章中的约 2400 美元只是每块四卡计算板当时的购入成本，整套服务器加上第二块计算板、主板、内存、电源等部件，实际投入会更高。 支持本地部署的人认为，法律文件涉及客户隐私和职业保密义务，不能简单交给第三方云端模型。硬件虽然昂贵，但可以一次购买、长期使用，也能避免持续支付 API 调用费用。 反对者则认为，本地部署并不自动等于安全。复杂的自建服务器可能带来新的数据访问、设备故障和运维风险；旧显卡的高功耗、软件兼容性和维护成本，也可能远高于经过合规认证的私有云服务。 因此想讨论：对律师事务所来说，敏感资料完全留在本地，是否足以抵消硬件、电费和运维成本？本地 AI 和企业私有云相比，哪一种方案更安全、更容易审计？、法律、医疗和金融等行业，是否会成为本地 AI 硬件最早实现商业价值的领域？ https://www.tomshardware.com/tech-industry/artificial-intelligence/lawyer-builds-private-ai-server-with-eight-used-nvidia-v100-gpus-up-to-215-tokens-per-second-to-keep-legal-files-offline-costing-about-usd2-400-per-four-gpu-board

热评：搞律师的还是有钱！你们是不知道我们这帮在软件公司干AI产品经理的平时算账有多抠搜。在公司里，为了把大模型调接口的token成本压下来几毛钱，我跟算法研发能在会议室里拍桌子吵一下午。回到家里，我用自己64G内存的台式机跑个模型，晚上挂机超过三个小时，我都有点肉疼。在折腾硬件这件事上面，还是跨界选手玩的更狠。我脑子里面大概都有画面了：客户提着公文包走进律所，本来想在一个安静体面的环境里面悄摸摸的聊一聊离婚财产分割的事儿 @徐斌 ，结果一推开门，角落里传来一阵堪比波音747起飞的暴力风扇轰鸣声，屋里热得像东北洗浴中心的汗蒸房，律师还得扯着嗓子喊：“您放心！咱们这儿绝对断网保密！就是说话得大点声，不然

原话题：https://www.zhihu.com/question/2103844614528395225 大家怎么看？