清华 ChatGLM-6B 中文对话模型本地部署
一、硬件需求量化等级最低 GPU 显存(推理)最低 GPU 显存(高效参数微调)FP16(无量化)13 GB14 GBINT88 GB9 GBINT46 GB7 GB二、博主本机配置:显卡:40...
GPT插件开发示例
本文主要探讨GPT插件的精妙运用,助你轻松掌握这一强大工具,让你的聊天体验更上一层楼。一、运行原理首先我们在客户端发起一个聊天会话,比如询问GPT:“今天贵阳的天气怎么样?”,同时为了使用我们自...