LMDeploy github地址：https://github.com/InternLM/lmdeploy/blob/main/README_zh-CN.md 开源协议：Apache License Version 2.0 优势： 国产硬件优化框架，支持多模态模型 深度优化CPU-GPU调度 支持华为昇腾等国产芯片 劣势 社区资源较少 更新迭代速度慢 适用场景 国产化环境/政企项目 简介 LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方…
大模型（例如 GPT、Llama、Claude 等）中的 B 一般指的是 参数数量的数量级，即 “十亿（Billion）” 这个数量级。比如： 7B → 70 亿参数（7 Billion） 13B → 130 亿参数（13 Billion） 65B → 650 亿参数（65 Billion） B（参数量）有什么用？ 参数数量决定了模型的容量和能力，但并不是唯一的衡量标准。大致来说，参数越多，模型的表达能力越强，能够处理更复杂的任务，但也会带来计算资源、训练难度等问题。 B 大的作用（更大参数量的好处） 更强的理解和…
DeepSeek 系列模型是由中国公司深度求索（DeepSeek Inc.）开发的一系列人工智能模型，涵盖自然语言处理（NLP）、多模态和代码生成等领域。这些模型以高性能、高效训练和广泛的应用场景著称。 DeepSeek开源了啥？ Open Source Initiative（简称OSI）专门针对AI提出了3种概念：开源AI系统、开源AI模型和开源AI权重 开源AI系统包括训练数据、代码和权重。代码和权重需要按照开源协议提供，而训练数据只需要公开出处（因为一些数据集确实无法公开提供） 开源模型只需要提供用于推理的代…
引言 春节期间，最火的应该就是DeepSeek了，抖音、知乎等等 海外也引爆了，讨论比较多 查看网上的资料，发现DeepSeek火爆，主要有以下几个原因： 低成本：其研发成本仅为557万美元，极大地降低了AI模型的开发门槛。 开源免费：DeepSeek是开源的，全球开发者可以自由使用和测试，这吸引了大量用户。 减少GPU依赖：DeepSeek有效降低了大规模训练对GPU资源的依赖，推动了AI产业链的重塑。 国际关注：DeepSeek在国际上引起了广泛关注，尤其是在中国和美国的科技圈，被视为AI领域的“黑马”。 使用…
查看显卡信息 # 查看驱动版本 drive version nvidia-smi # 定时刷新(每隔2秒刷新一次，每次只在固定位置刷新) watch -n 2 -d nvidia-smi # 定时查询(每隔2秒查询一下，但是每次的查询结果会接着上一个往下刷新，导致持续扩张terminal的历史log) nvidia-smi -l 2 nvidia 驱动安装 方式1 选择对应的显卡：NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA 点击下载驱动 .run 赋执行权限 chmod +x NVID…
部署 根据构建流程，先本地打包。gpt4all/gpt4all-bindings/python/README.md 在主 ·nomic-ai/gpt4all (github.com) 开发 使用源代码自己构建包 克隆 GPT4All 并更改目录： git clone --recurse-submodules https://github.com/nomic-ai/gpt4all.git cd gpt4all/gpt4all-backend 构建后端。 如果使用的是 Windows 并安装了 Visual Studi…
stable-diffusion-webui-localization-zh_CN github地址：dtlnor/stable-diffusion-webui-localization-zh_CN: Simplified Chinese translation extension for AUTOMATIC1111's stable diffusion webui (github.com) 简体中文(Simplified Chinese) Model Preset Manager(模型预设管理器) gi…
github：AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI (github.com) 安装 创建环境 conda create -n stableDiffusion python=3.10.6 拉取脚本： wget -q https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh 运行：bash webui.sh -f 可以直…
