初探AI之got-ocr2.0大模型本地部署与遇到的各种坑处理

转载 作者：撒哈拉 更新时间：2024-10-19 12:18:59 57 4

https://blog.csdn.net/qq_44750293/article/details/129685556
问题本质是pytorch无法调用cuda，原因是国内加速镜像默认会安装cpu版本，安装gpu版本即可，及torch.cuda.is_available输出为false即代表安装的版本为cpu版本，安装gpu版本后即可输出为true
###1、torch.cuda.is_available()显示false解决方法:
	使用pytorch官方推荐的版本安装：
		https://pytorch.org/
		例如cuda12.1的安装命令： 
			conda:	conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
			pip:	
				pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 （亲测有效，这个需要下载2小时+）
				阿里云加速(使用这个最快，推荐，只需要下载2min+)：
					pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 -f https://mirrors.aliyun.com/pytorch-wheels/cu121

Python｜Windows 安装 DeepSpeed 安装方法及报错 Unable to pre-compile async_io 处理:
	https://blog.csdn.net/Changxing_J/article/details/139789110

配置visual studio
运行Anaconda Powershell Prompt，执行 Set-Item Env:\DS_BUILD_OPS 0，切换到deepspeed目录，再次执行 ：  .\build_win.bat

ERROR: Could not find a version that satisfies the requirement setuptools_scm (from versions: none)
	尝试切换pip源试试，pip install -i 源地址

在VS界面激活anaconda，但是报错”CondaError: Run 'conda init' before 'conda activate'“，该如何解决？
	打开Anaconda Prompt
	conda init
	conda activate 环境

https://blog.csdn.net/thisjuly/article/details/136260069

text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。：
https://blog.csdn.net/dandandancpop/article/details/134729988
解决： https://github.com/Dao-AILab/flash-attention/releases ，在此链接中下载与本地cuda与torch且python相对应的版本即可，cuda12.1下载cu123亲测可用，cp310为python3.10，cp311为python3.11其他同理

因为默认的源是hugging-face,但是国内无法访问，国内可使用modelscope（魔塔社区）的模型
hugging-face模型下载不成功？
	https://zhuanlan.zhihu.com/p/722248326?utm_campaign=shareopn&utm_medium=social&utm_psn=1824225242303819776&utm_source=wechat_session
	使用modelscope提供的模型

57 4 0

• c# - 遇到 if-then 语句逻辑问题

  我对 c# 有点陌生，我在尝试围绕这个 if-then 语句尝试实现时遇到了一些麻烦。 这是我的目标:当用户将订单输入系统时，将为每个订单创建一个唯一的 orderID。但是，一些附加功能是用户可以选

• c++ - 遇到 STATUS_STACK_BUFFER_OVERRUN

  我已经搜索了这个特定的错误，发现根本问题涉及循环计数错误并导致程序超出数组的界限。 但是，当我将每个数组降低到数组开始丢失输出数据的程度后，它继续抛出相同的错误。我对 C/C++ 仍然是新手，但任何对

• c++ - 遇到 while 循环问题

  我不明白为什么我运行这个小程序时屏幕上没有任何显示？ while 循环甚至开始了吗？ #include #include int main() { char word[20]; char

• perl - 遇到 Perl 依赖问题

  我接手了一个用 Perl 编写的项目，它有一些依赖项，例如 Template::Toolkit , Image::ExifTool , 和 GD仅举几例。目前，这些依赖项使用 --prefix 构建到

• r - 遇到 0 时重置的累积和

  我想对一个字段进行累积总和，但只要遇到 0 就重置聚合值。 这是我想要的一个例子: data.frame(campaign = letters[1:4] , date=c("jan","

• gradle - 遇到 gradle 构建问题

  不久前，该项目的 gradle 构建运行良好，但现在一直失败并显示以下错误(带有 --info 标志的输出): Starting process 'Gradle Test Executor 1'. W

• java - 遇到 || 问题和 ＆＆

  我是编程新手，想用 Java 制作一个掷骰子程序来执行。代码如下: import java.math.*; public class Dices { public static int dice1=0

• java - 遇到 Java 数组索引错误

  这个问题已经有答案了: What is a StringIndexOutOfBoundsException? How can I fix it? (1 个回答) 已关闭 5 年前。 我对 Java 完

• java - 为什么我收到 SQLSyntaxErrorException -遇到 ""？

  这个方法一直抛出标题中的异常，我找不到原因，我已经通过连接创建了其他表，并且所有引用的表都已创建。我正在使用嵌入式JavaDB . private void createEvidenceTable()

• python - 遇到 "NameError"问题

  我刚开始上课，这是我第三次尝试上课。我遇到了一个 NameError，我真的不知道如何解决。看看我的程序，看看你能不能帮忙。 import random import math import pyga

• java - 遇到 jpanels 变得可见的困境

  好吧，这是我的困境，我向 JFrame 添加了三个面板。第一个(不可见)第二个(可见)和第三个(不可见)..我使用第一个面板作为菜单，当您选择一个选项时，第一个面板被制作(可见)，然后第三个面板被制作

• c++ - 遇到 if/else 问题

  我的部分代码遇到问题。如果我选择选项 A，它会运行并给我正确的答案，但是，如果我选择选项 S 或 M，它不会给我任何结果，只会去到它应该去的地方。已经尝试将 if 更改为 else if，但它显示“预

• c - 遇到 fscanf 文件指针错误问题

  我这里有一些代码，但我正在努力解决它，因为我似乎无法掌握这个文件指针的东西。我对使用文件还很陌生。我见过类似的其他问题，并且尝试了对其他人有效的解决方案，但由于某种原因它们对我不起作用。这是出现问题的

• java - 遇到 Sonar 错误时如何处理TODO注释

  我们有一个很大的应用程序，我们已经将 TODO 规则添加到质量门中，如果发现 TODO 注释，它会给出错误。如果我们只是删除 TODO 注释(这很可怕)，它会起作用，但添加 TODO 注释的整个目的就

• javascript - 遇到 if/else 语句的问题

  我正在尝试编写一个名为 isVowel 的函数，它接受一个字符(即长度为 1 的字符串)并在它是元音、大写或小写时返回“true”。如果该字符不是元音字母，该函数应返回“false”。 这看起来应该可

• javascript - 遇到 jquery 函数无法正常工作的问题

  我一直在努力完成我正在做的这个小项目，但由于某种原因它无法正常工作。 问题是当我第一次访问该页面并单击出现在主要部分中的第一个链接时，它会根据需要显示弹出框。现在，当我点击另一天，例如星期天并尝试点击

• c# - 遇到 MySQL 异常问题

  我正在尝试制作一个 WPF 应用程序。我的窗口内有一个数据网格。我制作了另一个窗口，将新数据添加到我的数据网格中。虽然它按照我想要的方式工作，但我不断遇到异常。我的 MySQL 代码: using S

• iphone - 遇到 NSUserDefault 问题

  我试图在我似乎无法使 NSUserDefaults 正常工作的程序中保存几个首选项。如果有人可以查看我的代码并查看是否有任何错误，我们将不胜感激 NSString *kGameIsPaused = @

• postgresql - SymmetricDS 遇到 illegalStateException

  设置 SymmetricDS版本是3.9.1(也试过3.9.0) 设置是从 postgres 9.5.3 到 postgres 9.5.3 Windows 10 pc(客户端节点)到 Windows

• java - 遇到 double 问题

  经过长时间的努力，我终于(差不多)完成了我的java菜单程序。但是，我无法让我的返回更改功能在我的代码末尾工作。它给出了非常奇数的数字。有什么想法吗？ 代码: import java.io.*; im