deepseek本地部署

AI百科11个月前更新 学习导航
939 0
DeepSeek交流群

以下内容由AI生成,非目标网站最新信息,内容仅供参考,详细信息请登录目标官方网站查看

以下是几种常见的DeepSeek本地部署方法,用户可以根据自己的需求和硬件条件选择合适的方式:

方法一:通过Ollama部署DeepSeek

  1. 安装Ollama
    • 访问Ollama官网(https://ollama.com/),点击“Download”,根据本地电脑的操作系统类型下载对应的Ollama版本。Ollama支持macOS、Linux和Windows主流操作系统。
    • 下载完成后,直接双击安装文件并按照提示完成安装。
    • 安装完成后,在终端输入ollama --version,如果输出版本号,则说明安装成功。
  2. 下载并部署DeepSeek模型
    • 在Ollama官网搜索“deepseek”,选择合适的DeepSeek模型版本。例如,对于入门级可选择1.5B版本,适合初步测试;中端可选择7B或8B版本,适合大多数消费级GPU;高性能可选择14B、32B或70B版本,适合高端GPU。
    • 打开终端,输入以下命令下载并运行DeepSeek模型。例如,下载7B版本的命令为:

      ollama run deepseek-r1:7b

      如果需要下载其他版本,可参考以下命令:
      复制
      ollama run deepseek-r1:8b  # 8B版本
      ollama run deepseek-r1:14b # 14B版本
      ollama run deepseek-r1:32b # 32B版本
  3. 启动Ollama服务
    • 在终端运行以下命令启动Ollama服务:

      ollama serve

      服务启动后,可以通过访问http://localhost:11434来与模型进行交互。
  4. (可选)使用Open Web UI
    • 确保机器上已安装Docker。
    • 在终端运行以下命令安装并启动Open Web UI:
      复制
      docker run -d -p 3000:8080 \
        --add-host=host.docker.internal:host-gateway \
        -v open-webui:/app/backend/data \
        --name open-webui \
        --restart always \
        ghcr.io/open-webui/open-webui:main
    • 安装完成后,访问http://localhost:3000,选择deepseek-r1:latest模型即可开始使用。

方法二:通过LMStudio部署DeepSeek

  1. 安装LMStudio
    • 访问LMStudio的官网(lmstudio.ai)并选择适合您操作系统的版本进行下载。
    • 下载完成后,双击安装,可以选择安装在D盘或其他自定义目录。
    • 安装完成后,打开软件,并在右下角点击“小齿轮”设置按钮,选择简体中文以便于操作。
  2. 下载DeepSeek无限制模型
    • 由于DeepSeek官网近期遭受攻击,建议使用网盘链接进行下载(具体链接可参考相关教程),在下载时,请选择无限制版本,以便实现自由交互。
    • 下载完成后,将模型文件存放在D:\Models\Imstudio-community目录下。
  3. 加载模型
    • 打开LMStudio软件。点击左侧的文件夹图标,然后点击右下角的三个点(“…”),选择“更改”以导航到Models文件夹。确认选择正确后,模型会自动出现。

方法三:通过阿里云一键部署DeepSeek

  1. 登录阿里云人工智能平台 PAI
  2. 点击【立即开通】,首次使用需要按指引完成授权。
  3. 在顶部左上角根据实际情况选择地域。并在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。最后在左侧导航栏选择快速开始>Model Gallery。
  4. 在Model Gallery页面的模型列表中,单击找到并点击需要部署的模型卡片,例如“DeepSeek-R1-Distill-Qwen-7B”模型,进入模型详情页面。
  5. 单击右上角部署:目前DeepSeek-R1支持采用vLLM加速部署;DeepSeek-V3支持vLLM加速部署以及Web应用部署;DeepSeek-R1蒸馏小模型支持采用BladeLLM(阿里云PAI自研高性能推理框架)和vLLM加速部署。选择部署方式和部署资源后,即可一键部署服务,生成一个PAI-EAS服务。
  6. 部署成功后,在服务页面可以点击“查看调用信息”获取调用的Endpoint和Token,想了解服务调用方式可以点击预训练模型链接,返回模型介绍页查看调用方式说明。
© 版权声明

相关文章