各位大佬好,准备搭 New‑API 做中转站,属于刚起步阶段,前期用户量不大,想问问硬件和带宽怎么选不踩坑。
业务预估
初期:小流量,大概几十个人同时调用,以文本流式对话为主
后续慢慢扩,不想一开始就上很高配置,也怕配置太低直接卡顿超时
自己初步想法
1、CPU 内存:
看资料说中转只是转发,不跑大模型推理,CPU 压力不大。
测试玩玩:1 核 2G 够用吗?
正式起步运营,是直接上 2 核 4G,还是 4 核 8G 更稳妥?
内存瓶颈主要是数据库日志、Redis 缓存这块吗?
2、带宽这块比较迷惑,想重点请教:
中转站是转发 token 输出,流式输出会持续往外吐数据,上行带宽是不是才是瓶颈?
十几人并发文本场景,实际需要多少 Mbps 带宽?5M、10M 还是 20M?
如果有文生图,一张图几 MB,带宽要往上加到多少?
选机器要看 “独享带宽” 还是看流量包?有些 VPS 带宽写的很大但是流量很少,优先看带宽大小还是月流量?
3、系统与节点
系统打算 Ubuntu22.04;节点倾向新加坡 / 香港,看重回国延迟。
想问大佬:
1)起步最优配置(CPU / 内存 / 硬盘 / 带宽)推荐;
2)怎么判断带宽够不够,哪些现象代表带宽跑满了;
3)大概多少并发之后需要升级到 4 核 8G、升级带宽。
感谢各位前辈指点!