成本更低
与购买和维护自己的物理服务器相比，云服务器租赁可以大大降低成本。使用云服务器，您只需为所使用的资源付费，无需购买、维护或升级硬件。以下是云服务器租赁成本更低的几个原因：按需付费：您只需为所使用的资源付费，无需为闲置资源付费。无需购买硬件：您无需购买自己的服务器，从而节省了硬件成本。无需维护或升级：云服务器提供商负责维护和升级服务器，从而节省了您的时间和精力。
灵活性更高
云服务器租赁提供更高的灵活性，可以满足您的业务需求。您可以根据需要轻松地调整服务器的资源（例如，CPU、内存和存储），以应对流量高峰或业务增长。以下是云服务器租赁灵活性更高的几个原因：可扩展性：您可以根据需要随时增加或减少服务器的资源。按需部署：您可以快速轻松地部署新的服务器，以满足业务需求。高可用性：云服务器可以提供高可用性，确保您的应用程序在发生故障时仍然可用。
其他优势
除了成本更低和灵活性更高之外，云服务器租赁还提供以下优势：全球覆盖：云服务器提供商在全球各地设有数据中心，让您可以在任何地方部署应用程序。安全性和合规性：云服务器提供商通常提供安全性和合规性功能，以保护您的数据和应用程序。技术支持：云服务器提供商通常提供技术支持，以帮助您解决问题并优化服务器性能。
autodl 云服务器租用
autodl 是一家领先的云服务器提供商，提供各种云服务器租赁计划。autodl 的云服务器采用高性能硬件，并提供以下优势：按需付费免费试用24/7 全天候技术支持99.9% 的正常运行时间保证如果您正在寻找一种成本更低、灵活性更高且功能强大的云服务器解决方案，autodl 是您的理想选择。要了解更多信息或订购云服务器，请访问 autodl 网站：。
基于AutoDL的ChatGLM3-6b部署微调实践(全流程)
选用性价比较高的平台(AutoDL算力云 | 弹性、好用、省钱。
租GPU就上AutoDL)进行部署。
使用该平台前请先完成平台的注册和充值，在校学生可以使用教育邮箱进行学生认证。
点击进入”算力市场“，可以看到显卡的详细信息；计费方式选择”按量计费“，不用的时候就关机，省钱；地区可以任意选择，不过据说”内蒙A区“可以连接网盘，我目前还没用到；GPU型号建议选用一张3090/4090单卡即可，显存一定要选用24G的，不然会爆显存，CUDA版本尽量选新的。
选择一张显示可租的卡，点击进入，进行创建示例：设置”基础镜像“，也就是配置服务器的程序运行环境，选择”PyTorch->2.0.0->3.8(ubuntu20.04)->11.8“，完成选择后点击”立即创建“。
如此便完成了服务器的租用和环境搭建，不用的时候一定记得关机，不然会持续烧钱，上传或下载数据、模型、包等时，可以在开机后点击”更多“，选择”无卡模式开机“，这样计时的费用会低很多。
点击快捷工具中的”JupyterLab“进入服务器查看：选择进入”autodl-tmp“文件夹，该文件夹为数据盘，将模型及模型权重等下载到这里面，ChatGLM3模型地址为： THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 ()通过项目中的”README“文件，进行模型下载，然后点击”HF Repo“进入 Hugging Face进行模型权重等下载，点击红框选中的”三个点“，选择”Clone repository“进行模型下载点击进入该数据盘(autodl-tmp)启动页下的”终端“，输入初始化命令：接下来就可以进行”ChatGLM3-6b“模型的克隆和模型权重文件的下载，文件较大下载过程比较慢或直接报错，因此，可以先设置学术资源加速再进行下载：下载完成后，可以看到在”autodl-tmp“文件中新增了一个”ChatGLM3“的文件夹安装好模型运行的环境依赖后，接着在 THUDM/chatglm3-6b at main ()上进行模型权重等文件的下载以上，我们就完成了ChatGLM3-6b模型在远程服务器的安装部署，接下来对是否部署成功进行验证。
进入到“basic_demo”文件夹中，选中“cli_”文件，将其中的模型读取代码改为自己的模型下载路径ChatGLM3提供了三种基本的对话交互页面，点击进入“autodl-tmp/ChatGLM3/basic_demo”文件夹：修改完成后，即可在终端执行该脚本“web_demo_”，除修改模型加载路径外，还需要修改端口设置，因为AutoDL平台需以6006端口启动访问服务“web_demo_”中没有指定端口号的代码，因此端口号的修改在终端的命令行操作时进行修改在“web_demo_”的脚本注释中，提到如需更全面的网络演示，建议使用“composite_demo”。
首先，通过conda新建一个环境，并在该环境下安装所需依赖。
注意，python版本一定要是3.10及以上版本，因为项目代码中使用了“match case”语句，该语句是3.10后的版本才支持的。
该项目主要有“”作为主程序，该程序会调用“demo_chat”、“demo_ci”和“demo_tool”三个子程序。
各子程序也会调用其他的脚本实现对应的功能，如：“demo_”子程序会调用“”进行模型加载。
于是，我们需要对“”中的模型加载路径进行修改。
ChatGLM3 Demo 拥有三种模式：官方给出了对话模型和基座模型的微调示例，Chat模型微调的相关脚本在“autodl-tmp/ChatGLM3/finetune_chatmodel_demo”文件夹下，微调示例参考官方文档( ChatGLM3/finetune_chatmodel_demo at main · THUDM/ChatGLM3 ())进行复现。
对于输入-输出格式，样例采用如下输入格式：官方示例中使用AdvertiseGen 数据集来进行微调，因此，在终端切换到用于微调的虚拟环境进行数据集的下载。
“format_advertise_”脚本用于实现原始数据集的下载，并进行格式转换得到适用于模型微调的数据集。
接下来就可以进行多轮对话形式的模型微调，同样在执行用于微调的Shell脚本之前，需要先将模型加载路径和数据加载路径根据自己的实际情况进行修改。
对于输入输出格式的微调，通过运行脚本对微调后的模型进行验证：对于多轮对话格式的微调，通过Web Demo进行部署验证：若Github远程仓库有代码更新，则进行拉取到服务器或本地，操作如下：
租赁云算力平台初步调研对比【AI Studio、MegStudio、Colab、Featurize、AutoDL】
经过初步调研对比，当前使用的是 Featurize的服务器。
Featurize在以下方面展现出显著优势：价格便宜（为当前全网最低价）、环境已预先安装了tensorflow和pytorch框架（方便快捷）、算力配置全面（包含GPU和CPU机型）、云空间大且数据迁移友好（20G免费云空间，重置服务器不会清空数据）、售后服务响应迅速。
但也有需要改进的地方，例如长时间训练易掉线、大模型训练时资源限制，以及数据安全问题。
建议使用云服务器时注意数据安全。
Featurize作为平台，提供了没有框架限制的使用体验，每次使用时无需自行配置框架和环境，支持tensorflow和pytorch框架，且算力配置全面，最低价格，界面美观，售后及时，且2021年9月进行了UI优化。
然而，服务器数量不足，部分机型抢购困难，长期使用成本存在，且需要一定知识储备以适应云端与本地配置差异。
此外，数据安全问题及服务器稳定性需要关注，训练过程可能会出现中断。
AI Studio作为网络提供的服务，提供免费Tesla V100资源，适合学生和新手用户，平台配置了丰富的教程和学习资源。
然而，它仅支持网络自家的PaddlePaddle框架，限制了用户的选择，同时存在数据安全问题，且存在算力需求问题。
MegStudio由旷视提供，主要支持自家的MegEngine框架，提供了包括常用模型的现成代码，方便模型学习者使用。
但同样面临框架限制、数据安全问题、较少的社区贡献者、API种类不丰富以及中国用户使用不便的问题。
Colab由谷歌提供，是唯一提供TPU算力的平台，免费且支持多种框架，拥有完备的开源社区资源。
然而，它需要科学上网，存在频繁掉线的问题，且需要掌握科学上网知识，有数据安全风险，且在中国的使用存在限制和支付方式问题。
AutoDL的体验和具体评价待补充。
gpu算力租赁哪个平台值得推荐？
在探索GPU算力租赁的广阔天地中，哪个平台能脱颖而出？
我国的算力基础设施正在以前所未有的速度崛起，无论是超算中心、智算中心还是通用数据中心，都在全球范围内崭露头角。
根据IDC的数据，自2018年以来，我国数据中心机架数量年复合增长率超过30%，截至2023年6月，庞大的760万架标准机架支撑着197EFLOPS的惊人算力，位列全球第二。
然而，别以为这样的规模已经足够满足需求，事实上，人工智能背后的智慧应用只是冰山一角，工业、金融、医疗、交通、能源、教育等各行各业的智能化进程中，对算力的需求更是如潮水般汹涌。
从人脸识别到自动驾驶，再到工业数字孪生，每一项创新的背后，都是智能算力的默默支撑。
在市场持续爆发的背景下，即使200EFLOPS的规模也显得捉襟见肘。
在众多提供GPU算力租赁的平台中，AutoDL、商汤、恒源云、数聚算力、讯飞云和金山云等脱颖而出。
其中，AutoDL的总GPU规模超过1万个，是国内规模最大的平台。
恒源云的规模在1000-1500之间，数聚算力在1500-2000，商汤则在1000-1200之间，而讯飞云和金山云的规模则相对较小，大约在500~1000张GPU之间。
在价格策略上，AutoDL更像京东自营，凭借自营资源，运营方拥有定价权，这使得其价格优势明显。
相反，恒源云则更像淘宝，主要作为中介平台，大部分服务器资源由机主提供，价格变动受机主意愿影响，定价权相对分散。
在竞争激烈的市场中，像数据算力这样的后来者也逐渐挑战AutoDL的地位，这对于消费者来说，意味着更丰富选择和更具竞争力的价格。
然而，随着OpenAI的Sora发布，市场上可用的高端GPU资源变得紧张，租赁价格水涨船高。
去年，算力租赁费用就高达四千多元，预计今年这一数字将增长20%~30%。
在这个快速发展的领域，不断变化的市场动态和激烈的竞争无疑推动着技术进步，但同时也带来了更高的成本挑战。
总之，面对众多GPU算力租赁平台，选择哪个最佳还需综合考量规模、定价策略、市场动态以及个人需求。
在众多平台中，AutoDL凭借其优势和市场的活跃竞争，无疑是目前值得推荐的一个选择，但用户在决定时仍需根据自身项目需求和市场变化进行评估。
