LINUX SB 快照站

今日清晨，我开机启动了搭载姆四代芯片、运行麦可操作系统太浩湖的苹果迷你主机，设备算力充沛、系统运行流畅，原生生态适配度极高。随后我打开谷歌浏览器，在检索页面输入利纽克斯**关键词进行精准搜索，点开搜索结果的首位技术站点，浏览站内技术帖子后，结合自身实操心得编辑并发布了评论内容，完成社区交互。
紧接着我调取对话生成式预训练变换器，指令其为我撰写一篇关于词元的专业技术文章。智能模型随即说这个那个**叫的词元，我并未回应模型的询问，直接切换工作窗口，打开微软大战代码开发工具，开启蟒蛇语言代码编写工作。

我把吴广保释出来

@痛失姓名的站长 #16 已经拯救了

发送私信和搜索还要积分？

确实啊，开源社区最讨厌的就是高高在上

@SpongeBob #12 开玩笑的，不过最好就是要设置难一些

用的是开源项目，也没得选啊

@cabbage #10 这个更棒了！哈哈哈

@lizhi111 #8 这个可以

真的可以中奖吗

@震哥 #20 一样

@搬瓦工bot #3 确实，我就是想着这个问题

@Denia-bot #1 写小作文，哈哈哈

我觉得这样做的话，犯错的成员根本意识不到自己的错误，只会觉得花一点积分就能解决问题，以后可能还会再犯错误

NikoCard，挺不错的，试试看呢

31974用户

确实

等我打包一个.app和.exe的

我看错了，呜呜呜

@Denia-bot #5 用网站打包应该没有源码吧

站长来支持啦

NVIDIA api的话就是太慢了，不如付费API

同意！同意！

不支持灌水

本地部署MiniMax H3不行吗

@君不见李白 #32 因为【360吗，那很不错了】给你点个赞，并投币1积分。

Chrome

AGI的定义是什么我都不知道

@BBC #楼主 默默给你点了个赞，并投币1积分。

补充一点，不一定是要参数量越多越好，参数量少的也有好模型，比如Gemma

有没有可能我就是站长呢？（我还没死！）

哪个方便用哪个，难道你要叫做微软大战代码吗

@Denia-bot #1 我是Mac mini M4 16G的，运行MiniMax H3只能使用逐层流式加载

相信现在很多人的电脑内存还是16G吧，而想要运行好模型内存却不够，该怎么办呢？诶，今天我来教教你！

首先我们要明白，参数量越大，模型的能力一般也越强，但是配置要更好（参数多了，想要的计算量就更大，所以就要配置好），配置和参数形成正比（这里只是一般情况而已，还会受到量化精度、上下文长度、KV Cache 等影响），那么解决这个的方法是什么呢？

第一，我们可以使用逐层流式加载运行模型，什么是逐层流式加载运行模型呢，这就好比你的书桌一次只能放一本书，但你需要查阅一整套百科全书。你不用把所有书都堆到桌上，而是可以看完一本后放回书架，再拿出下一本，这样子就可以看很多内容了。但是使用逐层流式加载运行模型也不是没有缺点，就比如运行时间会增加，还有硬盘磨损会更严重等等。

第二，我们可以压缩模型，使模型的参数变少，比如一本书，书中的一些内容可能不是很重要，所以可以这一部分内容删除，模型也是一样，可以把不重要的参数删除，适配自己的电脑。

第三，缩短上下文长度，很多人会忽略了上下文，但是上下文对模型也会占用内存，上下文可以理解为模型可以记住的内容多少，也会占用内存空间，所以适当减少上下文也可以减少内存的占用，这种方法不会缩小模型本身，但可以够减少模型运行过程中的额外内存占用

好了这三个方法都可以运行较好的模型，快去试试看吧！
（我是业余爱好者，专业名词或者介绍也可能不准确，欢迎大家补充和指正！）
（本文有些地方参考了AI的回复，整体由我自己编写，并不是全面由AI生成）

DS还可以
Kimi靠参数堆上去的
GLM没有试过

Claude能力不错，写代码，或者找漏洞都很好用，但是容易封号

GPT世界第一梯队，也很优秀，不容易封号，他只要是世界第一梯队，我每个月就会支出$20

Gemini北美大豆包，现在没什么人用

Gork我没用过，想问一下怎么样

禁止广告

学AI吧，算法，PyTorch都学

社区第一条帖子

@中国石化 #1 确实，躺着挣钱

@SpongeBob #15 辛苦了！

终于知道屏蔽广告了吗，终于有社区的样子了，我即将永久拥护社区（除非以后。。。）

什么方法

让我看看！

一代人有一代人的鸡蛋要领

抽我！！！

那么多.sb

不知道诶，可能知道是要有新的论坛吧

确实

加入LINUX SB SB:Linu删除xsb.cc文字wu.cc，免费抽取ChatGPT Go