LLM-01大模型本地部署运行ChatGLM2-6B-INT4(6GB)简单上手环境配置单机单卡多卡2070Super8GBx2打怪升级！

转载 作者：撒哈拉 更新时间：2024-07-21 19:00:42 58 4

nvidia-smi

# 需要克隆项目
https://github.com/THUDM/ChatGLM2-6B
# 模型下载（如果你没有科学，麻烦一点需要手动下载）
https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b-int4&mode=list
# 模型下载（如果可以科学，官方下载的体验是比较舒适的）
https://huggingface.co/THUDM/chatglm2-6b-int4

# pyenv 官方地址
https://github.com/pyenv/pyenv

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'command -v pyenv >/dev/null || export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc
echo '[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc
echo 'eval "$(pyenv init -)"' >> ~/.zshrc

# 查看当前系统中的Python情况
pyenv versions

# Python版本
pyenv local 3.10
# 独立环境
python -m venv env
# 切换环境
source env/bin/active
# cd 到项目目录
# 安装Python库 pip install - requirements.txt

# Python版本
pyenv local 3.10
# 独立环境
python -m venv env
# 切换环境
source env/bin/active
# cd 到项目目录
# 安装Python库 pip install - requirements.txt

# 先打开看一眼
vim web_demo.py

# 代码修改为这样
demo.queue().launch(server_name="0.0.0.0", server_port=7861, share=False, inbrowser=True)

python web_demo.py

# GPU 数量修改为2 
model = load_model_on_gpus(model_path, num_gpus=2)

58 4 0

• Java正则表达式，简单

  我正在努力实现以下目标， 假设我有字符串: ( z ) ( A ( z ) ( A ( z ) ( A ( z ) ( A ( z ) ( A ) ) ) ) ) 我想编写一个正则

• CSS水平滚动(简单)

  给定: 1 2 3 4 5 6

• MySQL填充样例数据(简单)

  很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1

• 简单、好懂的Svelte实现原理

  大家好，我卡颂。 Svelte问世很久了，一直想写一篇好懂的原理分析文章，拖了这么久终于写了。 本文会围绕一张流程图和两个Demo讲解，正确的食用方式是用电脑打开本文，跟着流程图、Demo一

• Javascript使用正则验证身份证号(简单)

  身份证为15位或者18位，15位的全为数字，18位的前17位为数字，最后一位为数字或者大写字母”X“。 与之匹配的正则表达式： ?

• 强大的jquery插件jqeuryUI做网页对话框效果！简单

  我们先来最简单的，网页的登录窗口； 不过开始之前，大家先下载jquery的插件 本人习惯用了vs2008来做网页了，先添加一个空白页 这是最简单的的做法。。。先在body里面插入 <

• 简单、易用的MySQL官方压力测试工具

  1、MySQL自带的压力测试工具 Mysqlslap mysqlslap是mysql自带的基准测试工具,该工具查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出

• .NET开源、简单、实用的数据库文档生成工具

  前言 今天大姚给大家分享一款.NET开源（MIT License）、免费、简单、实用的数据库文档（字典）生成工具，该工具支持CHM、Word、Excel、PDF、Html、XML、Markdown等

• 【Go基础入门教程】Go语言代码风格清晰、简单

  Go语言语法类似于C语言，因此熟悉C语言及其派生语言（ C++、 C#、Objective-C 等）的人都会迅速熟悉这门语言。 C语言的有些语法会让代码可读性降低甚至发生歧义。Go语言在C语言的

• FFMpeg 简单/快速转换视频文件不适用于任何视频

  我正在使用快速将 mkv 转换为 mp4 ffmpeg 命令 ffmpeg -i test.mkv -vcodec copy -acodec copy new.mp4 但不适用于任何 mkv 文件，当

• VBA 计算具有特定名称的工作表数(简单)

  我想计算我的工作簿中的工作表数量，然后从总数中减去特定的工作表。我错过了什么？这给了我一个对象错误: wsCount = ThisWorkbook.Sheets.Count - ThisWorkboo

• Perl 配置::简单

  我有一个 perl 文件，用于查看文件夹中是否存在 ini。如果是，它会从中读取，如果不是，它会根据我为它制作的模板创建一个。 我在 ini 部分使用 Config::Simple。 我的问题是，如果

• ios - 如何访问iOS通知中传递的数据(简单)？

  尝试让一个 ViewController 通过标准 Cocoa 通知与另一个 ViewController 进行通信。 编写了一个简单的测试用例。在我最初的 VC 中，我将以下内容添加到 viewDi

• optimization - (简单？)折线图的标签放置

  我正在绘制高程剖面图，显示沿路径的高程增益/损失，类似于下面的: Sample Elevation Profile with hand-placed labels http://img38.image

• javascript - 使用JS隐藏div(简单)

  嗨，所以我需要做的是最终让 regStart 和 regPage 根据点击事件交替可见性，我不太担心编写 JavaScript 函数，但我根本无法让我的 regPage 首先隐藏。这是我的代码。请简单

• c++ - 简单 for 循环中的大量时间损失

  我有一个非常简单的程序来测量一个函数花费了多少时间。 #include #include #include struct Foo { void addSample(uint64_t s)

• JavaScript 简单 BitConverter

  我需要为 JavaScript 制作简单的 C# BitConverter。我做了一个简单的BitConverter class BitConverter{ constructor(){} GetBy

• javascript - 简单 for 循环出现意外标记错误？

  已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。 这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top

• group-by - 简单.数据分组依据

  我是 Simple.Data 的新手。但我很难找到如何进行“分组依据”。 我想要的是非常基本的。 表格看起来像: +________+ | cards | +________+ | id |

• Javascript 简单 UDF

  我现在正在开发一个 JS UDF，它看起来遵循编码。 通常情况下，由于循环计数为 2，Alert Msg 会出现两次。我想要的是即使循环计数为 3，Alert Msg 也只会出现一次。任何想法都