引言
随着数字化转型的不断深入，企业对IT基础设施的需求也在不断增长。传统服务器租赁和云服务器租赁是两种主要的基础设施选项，但它们在成本和效率方面存在着显著差异。
成本比较
在成本方面，传统服务器租赁通常比云服务器租赁前期成本更高。传统服务器租赁需要购买物理服务器，这需要大量的初始投资。还涉及基础设施成本，如机房、电源和冷却。相比之下，云服务器租赁是一种按需付费的模式，用户只需为实际使用的资源付费，从而节省了前期投资成本和基础设施费用。
| 成本类别 | 传统服务器租赁 | 云服务器租赁 |
|---|---|---|
| 前期成本 | 高 | 低 |
| 基础设施成本 | 高 | 低 |
| 运行成本 | 中等 | 低 |
效率比较
在效率方面，云服务器租赁通常比传统服务器租赁更有效率。云服务器租赁提供了按需扩展的能力，可以根据业务需求轻松地增加或减少资源。这可以减少资源浪费，并确保企业始终拥有满足其需求的基础设施。云服务器通常由专业团队管理，这可以释放企业内部资源，让他们专注于核心业务。
| 效率类别 | 传统服务器租赁 | 云服务器租赁 |
|---|---|---|
| 可扩展性 | 有限 | 高 |
| 资源利用率 | 低 | 高 |
| 管理费用 | 高 | 低 |
其他考虑因素
除了成本和效率之外，选择服务器租赁时还应考虑其他因素，包括：
- 可用性：云服务器租赁通常具有更高的可用性，因为它分布在多个数据中心。
- 安全性：云服务器提供商通常提供高级安全功能，例如防火墙和入侵检测系统。
- 支持：云服务器租赁通常提供24/7支持，这可以确保在出现问题时快速响应。
结论
对于企业来说，在云服务器租赁和传统服务器租赁之间做出选择取决于其具体需求和资源。对于前期成本较低、可扩展性高、资源利用率高的企业来说，云服务器租赁可能是更好的选择。而对于对可用性、安全性或支持有特殊要求的企业来说，传统服务器租赁可能更合适。通过仔细权衡这些因素，企业可以做出符合其业务目标的最佳决策。
autodl云服务器租用
autodl是一家领先的云服务器提供商，提供各种云服务器租赁方案，满足不同企业的需求。我们的云服务器采用先进的技术，提供高可用性、安全性和可扩展性。我们的专业团队提供24/7支持，确保您的业务始终顺畅运行。如果您正在考虑云服务器租赁，请联系autodl了解更多信息并获得定制报价。
基于AutoDL的ChatGLM3-6b部署微调实践(全流程)
选用性价比较高的平台(AutoDL算力云 | 弹性、好用、省钱。
租GPU就上AutoDL)进行部署。
使用该平台前请先完成平台的注册和充值，在校学生可以使用教育邮箱进行学生认证。
点击进入”算力市场“，可以看到显卡的详细信息；计费方式选择”按量计费“，不用的时候就关机，省钱；地区可以任意选择，不过据说”内蒙A区“可以连接网盘，我目前还没用到；GPU型号建议选用一张3090/4090单卡即可，显存一定要选用24G的，不然会爆显存，CUDA版本尽量选新的。
选择一张显示可租的卡，点击进入，进行创建示例：设置”基础镜像“，也就是配置服务器的程序运行环境，选择”PyTorch->2.0.0->3.8(ubuntu20.04)->11.8“，完成选择后点击”立即创建“。
如此便完成了服务器的租用和环境搭建，不用的时候一定记得关机，不然会持续烧钱，上传或下载数据、模型、包等时，可以在开机后点击”更多“，选择”无卡模式开机“，这样计时的费用会低很多。
点击快捷工具中的”JupyterLab“进入服务器查看：选择进入”autodl-tmp“文件夹，该文件夹为数据盘，将模型及模型权重等下载到这里面，ChatGLM3模型地址为： THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 ()通过项目中的”README“文件，进行模型下载，然后点击”HF Repo“进入 Hugging Face进行模型权重等下载，点击红框选中的”三个点“，选择”Clone repository“进行模型下载点击进入该数据盘(autodl-tmp)启动页下的”终端“，输入初始化命令：接下来就可以进行”ChatGLM3-6b“模型的克隆和模型权重文件的下载，文件较大下载过程比较慢或直接报错，因此，可以先设置学术资源加速再进行下载：下载完成后，可以看到在”autodl-tmp“文件中新增了一个”ChatGLM3“的文件夹安装好模型运行的环境依赖后，接着在 THUDM/chatglm3-6b at main ()上进行模型权重等文件的下载以上，我们就完成了ChatGLM3-6b模型在远程服务器的安装部署，接下来对是否部署成功进行验证。
进入到“basic_demo”文件夹中，选中“cli_”文件，将其中的模型读取代码改为自己的模型下载路径ChatGLM3提供了三种基本的对话交互页面，点击进入“autodl-tmp/ChatGLM3/basic_demo”文件夹：修改完成后，即可在终端执行该脚本“web_demo_”，除修改模型加载路径外，还需要修改端口设置，因为AutoDL平台需以6006端口启动访问服务“web_demo_”中没有指定端口号的代码，因此端口号的修改在终端的命令行操作时进行修改在“web_demo_”的脚本注释中，提到如需更全面的网络演示，建议使用“composite_demo”。
首先，通过conda新建一个环境，并在该环境下安装所需依赖。
注意，python版本一定要是3.10及以上版本，因为项目代码中使用了“match case”语句，该语句是3.10后的版本才支持的。
该项目主要有“”作为主程序，该程序会调用“demo_chat”、“demo_ci”和“demo_tool”三个子程序。
各子程序也会调用其他的脚本实现对应的功能，如：“demo_”子程序会调用“”进行模型加载。
于是，我们需要对“”中的模型加载路径进行修改。
ChatGLM3 Demo 拥有三种模式：官方给出了对话模型和基座模型的微调示例，Chat模型微调的相关脚本在“autodl-tmp/ChatGLM3/finetune_chatmodel_demo”文件夹下，微调示例参考官方文档( ChatGLM3/finetune_chatmodel_demo at main · THUDM/ChatGLM3 ())进行复现。
对于输入-输出格式，样例采用如下输入格式：官方示例中使用AdvertiseGen 数据集来进行微调，因此，在终端切换到用于微调的虚拟环境进行数据集的下载。
“format_advertise_”脚本用于实现原始数据集的下载，并进行格式转换得到适用于模型微调的数据集。
接下来就可以进行多轮对话形式的模型微调，同样在执行用于微调的Shell脚本之前，需要先将模型加载路径和数据加载路径根据自己的实际情况进行修改。
对于输入输出格式的微调，通过运行脚本对微调后的模型进行验证：对于多轮对话格式的微调，通过Web Demo进行部署验证：若Github远程仓库有代码更新，则进行拉取到服务器或本地，操作如下：
AUTO DL 云服务器使用
登录账号：ssh -p 端口 xxxx@xxxxxx密码：准备1. 压缩数据：tar -cvf ./test tar -xvf 2. 打包环境：conda install -c conda-forge conda-pack conda pack -n上传1. scp -rP 端口 xxx@xxxx: 上传代码至：/zhaohx2. scp -rP 端口 xxx@xxxx: 上传环境至：/root/autodl-tmp/zhaohx3. 新建环境文件夹：mkdir flownet24. 解压：tar -xvf -C ./flownet25. 更新环境：export PATH=/root/autodl-tmp/zhaohx/flownet2/bin/:$PATH6. 上传数据至：/root/autodl-tmp/zhaohx/data运行安装gcc7,g++7：sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get install gcc-7 sudo apt-get install g++-7 将gcc7，g++7作为默认选项：sudo update-alternatives –install /usr/bin/gcc gcc /usr/bin/gcc-7 100 sudo update-alternatives –config gcc sudo update-alternatives –install /usr/bin/g++ g++ /usr/bin/g++-7 100 sudo update-alternatives –config g++ sudo update-alternatives –install /usr/bin/gcc gcc /usr/bin/gcc-7 50更新代码：cd networks/correlation -> python install cd networks/roilign -> python install cd prepare_kitti/pykitti -> python install运行代码：python
AutoDL部署ChatGLM2详细教程
AutoDL平台提供算力租赁服务，租用云GPU成本较低，适合学习和小型项目使用。
在部署ChatGLM2模型时，首先需注册并租用AutoDL平台的GPU资源。
选择靠近你的地区以减少网络延迟，并注意以下几点：1. 登录已购买的服务器，点击JupyterLab进入控制台。
2. 下载ChatGLM2模型，建议提前从加速网站下载，避免慢速下载。
创建“chatglm2-6b”目录用于存储模型，并在该目录下执行下载命令。
3. 同时，创建“chatglm2-6b-code”目录存放模型代码，下载运行依赖。
进入该目录后，执行相关命令下载代码。
4. 配置模型地址，将代码目录下的“web_”文件中的模型地址修改为你下载的模型路径。
5. 启动服务，执行命令，确保无错误输出。
若出现Gradio版本过高的错误，调整gradio版本。
6. 为访问本地内网地址，配置反向SSH访问，输入相关命令，其中7860为端口号，通过控制台获取连接信息。
7. 启动成功后，访问localhost:6006可访问ChatGLM2模型界面。
