SillyTavern深度指南：AI酒馆+DeepSeek本地部署，连接各种本地和云端AI模型

一些工具可以帮助我们更好地与AI进行交互。今天，MeoAI要介绍酒馆AI及本地部署——SillyTavern，大家常用将其作为酒馆AI或AI酒馆。它是一个本地安装的用户界面，允许用户与文本生成大型语言模型（LLMs）、图像生成引擎和文本转语音（TTS）模型进行交互，为用户提供了一个强大且灵活的 AI 交互平台。

这里是在线云端酒馆AI使用
直达DeepSeek 搭配 ollama 和 AI酒馆 在本地部署

一、项目简介

Silly Tavern 是由一群 LLM 爱好者共同开发的酒馆AI开源项目，旨在为用户提供尽可能多的实用性和对 LLM 提示的控制权。它从 2023 年 2 月开始，作为 TavernAI 1.2.8 的一个分支，经过两年的独立开发，现在已经拥有超过 100 名贡献者，成为 AI 爱好者的领先软件之一。由于 SillyTavern 只是一个酒馆AI界面，您需要访问一个 LLM 后端来提供推理服务。您可以使用 AI Horde 进行即时开箱即用的聊天。除此之外，还支持许多其他本地和基于云的 LLM 后端：兼容 OpenAI 的 API、KoboldAI、Tabby 等。

二、SillyTavern安装要求

Silly Tavern 的硬件要求非常低，可以在运行 NodeJS 18 或更高版本的任何设备上运行。如果您打算在本地机器上部署酒馆AI进行 LLM 推理，建议使用至少具有 6GB 显存的 3000 系列 NVIDIA 显卡。以下是不同平台的安装指南：

• Windows：docs.sillytavern.app/installation/windows/
• Linux 和 Mac：docs.sillytavern.app/installation/linuxmacos/
• Android：docs.sillytavern.app/installation/android-(termux)/
• Docker：docs.sillytavern.app/installation/docker/

三、SillyTavern分支选择

Silly Tavern 采用双分支系统进行开发，以确保所有用户都能获得流畅的酒馆AI体验：

• 发布版（release） 这是最稳定且推荐的分支，仅在发布主要版本时更新，适合大多数用户。通常每月更新一次。
• 测试版（staging） 这个分支包含最新酒馆AI功能，但可能随时出现问题，仅适用于高级用户和爱好者。每天更新多次。

四、SillyTavern支持的 AI 模型

SillyTavern 并不支持所有 AI 模型，但它通过各种后端支持广泛的 AI 模型，如同一家AI酒馆：

• OpenAI 模型 支持兼容 OpenAI 的 API，允许用户连接到 OpenAI 的模型，如 GPT-3.5 和 GPT-4。用户需要从 OpenAI 网站获取 API 密钥，并在 SillyTavern 中进行配置，才能在酒馆AI中使用这些模型。
• Claude 模型 支持 Anthropic 开发的 Claude 模型，用户可以通过相应的 API 进行连接。
• DeepSeek 模型 虽然 SillyTavern 本身不直接支持 DeepSeek 模型，但通过与 KoboldAI 的搭配，可以实现对 DeepSeek 模型的支持。用户需要在 KoboldAI 中配置 DeepSeek 模型，然后通过 SillyTavern 进行连接。
• 其他模型 支持的后端包括 KoboldAI、Tabby、AI Horde、NovelAI 等。用户可以根据自己的需求选择合适的模型进行连接。

五、角色卡

SillyTavern 的核心概念是“角色卡”。角色卡是一组酒馆AI的提示，用于设置 LLM 的行为，并且是在 SillyTavern 中进行持续对话所必需的。它们的功能类似于 ChatGPT 的 GPTs 或 Poe 的机器人。角色卡的内容可以是任何内容：一个抽象场景、一个针对特定任务的助手、一个名人或一个虚构角色。

名称字段是酒馆AI角色卡唯一必需的输入。要与酒馆AI中的语言模型进行中立对话，只需创建一个名为“Assistant”的新卡片，并将其他所有框留空。对于更具主题性的聊天，您可以为语言模型提供各种背景细节、行为和写作风格，以及一个启动聊天的场景。

如果您想在酒馆AI中不选择角色卡的情况下进行快速对话，或者只是想测试 LLM 连接，只需在打开 SillyTavern 后的欢迎屏幕上将您的提示输入输入栏。请注意，此类聊天是临时的，不会被酒馆AI保存。

要对如何定义角色卡有一个大致的了解，请查看默认角色（Seraphina），或者从“下载扩展和资源”菜单中下载选定的社区制作的卡片。

您也可以从头开始创建自己的角色卡。有关更多信息，请参阅角色设计指南。

六、SillyTavern关键特性

• 高级文本生成设置 酒馆AI具有众多社区制作预设的高级文本生成设置。
• 世界信息支持 创建丰富的背景故事或在角色卡上节省令牌。
• 群聊 酒馆AI多机器人房间，角色可以与用户和其他角色交谈。
• 丰富的 UI 自定义选项 主题颜色、背景图片、自定义 CSS 等。
• 用户角色 让 AI 了解一些关于用户的信息，以增强酒馆AI沉浸感。
• 内置 RAG 支持 将文档添加到聊天中供 AI 参考。
• 广泛的聊天命令子系统和自己的脚本引擎。

七、扩展功能

SillyTavern 支持多种扩展功能，包括：

• 角色情感表达（精灵）
• 聊天历史自动摘要
• 自动 UI 和聊天翻译
• 图像生成 Stable Diffusion/FLUX/DALL-E 图像生成。
• 文本转语音 AI 响应消息的文本转语音（通过 ElevenLabs、Silero 或操作系统的系统 TTS）。
• 网络搜索功能 为提示添加额外的现实世界酒馆AI背景。

八、DeepSeek 搭配 ollama 和 SillyTavern 在本地部署酒馆AI

1. DeepSeek 部署

DeepSeek 是一个高性能的 AI 模型，可以通过 ollama 进行本地部署。以下是详细的酒馆AI部署步骤：

1.1 安装 ollama

• 下载 ollama：访问 ollama 官网 下载适合您操作系统的版本。
• 安装 ollama：下载完成后，按照提示进行安装。

1.2 拉取 DeepSeek 模型

• 拉取模型：打开命令行工具，输入以下命令拉取 DeepSeek 模型：

  ollama pull deepseek-r1:14b

• 模型信息：拉取完成后，可以使用以下命令查看模型信息：

  ollama show deepseek-r1:14b

1.3 运行 DeepSeek 模型

• 运行模型：使用以下命令运行 DeepSeek 模型：

  ollama run deepseek-r1:14b

• 测试模型：在命令行中输入测试问题，例如：

  >>> 你好，介绍一下自己吧

2. Node.js 部署

SillyTavern 的部署依赖于 Node.js 环境。以下是详细的部署步骤：

2.1 安装 Node.js

• 下载 Node.js：访问 Node.js 官网 下载适合您操作系统的版本。
• 安装 Node.js：下载完成后，按照提示进行安装。

2.2 验证安装

• 验证安装：打开命令行工具，输入以下命令验证 Node.js 和 npm 是否安装成功：

  node -v
  npm -v

3. Silly Tavern 部署

Silly Tavern 是一个强大的酒馆AI，可以通过以下步骤进行部署：

3.1 下载 Silly Tavern

• 下载 Silly Tavern：访问 Silly Tavern 官网 下载最新版本的 Silly Tavern。
• 解压文件：下载完成后，解压文件到指定目录。

3.2 运行 Silly Tavern

• 运行 Silly Tavern：进入解压后的目录，运行 start.bat 文件，启动 Silly Tavern。

3.3 配置 API

• 配置 API：在 Silly Tavern 的设置中，选择文本补全，API 类型选择 ollama，API 地址设置为 http://127.0.0.1:11434/。
• 连接模型：点击连接按钮，完成配置。

九、总结

SillyTavern 是一个功能强大且灵活的 AI 交互平台酒馆AI，支持多种 AI 模型和丰富的功能扩展。无论是 AI 爱好者还是专业人士，都可以通过 SillyTavern 实现与 AI 的深度交互，探索更多可能性。如果你对 AI 交互感兴趣，不妨尝试一下 SillyTavern，体验这个独特的“AI 酒馆”。

附：SillyTavernd（AI酒馆）与各类模型API 连接

1. Chat Completions 与 Text Completions

• Chat Completion：聊天补全模型会将您的提示构建成用户（您）和助手（AI）或系统（中立）之间的一系列消息。这种模型有助于创建“聊天”的感觉，AI 会“回应”最后一条消息。例如，当您使用 ChatGPT 网站时，背后就是 Chat Completions API。
• Text Completion：文本补全模型会将您的提示转换成一个长字符串，模型会尝试继续这个字符串。例如，如果您在 SillyTavern 中的消息格式为“YourPersona:”和“Character:”之间的对话，文本补全模型会尝试继续这种模式，SillyTavern 会将其渲染为新的聊天消息。

2. SillyTavern（AI酒馆）本地 API

KoboldAI搭配酒馆AI

• 特点：在您的 PC 上运行，100% 私密，提供广泛的模型选择，直接控制 AI 的生成设置。
• 要求：需要大量的 GPU 显存（6-24GB，取决于 LLM 模型），模型上下文限制为 2k，不支持流式传输。
• 版本：流行的 KoboldAI 版本包括 Henky’s United 和 0cc4m’s 4bit-supporting United。

KoboldCpp搭配酒馆AI

• 特点：易于使用的 API，支持 CPU 卸载（对低显存用户有帮助）和流式传输，从单个 .exe 文件在 Windows 上运行（在 MacOS 和 Linux 上需要从源代码编译）。
• 支持：支持 GGUF/GGML 模型，比纯 GPU 加载器（如 AutoGPTQ 和 Exllama/v2）慢。
• GitHub：KoboldCpp GitHub

Oobabooga TextGeneration WebUI搭配酒馆AI

• 特点：一体化的 Gradio UI，支持流式传输，广泛支持量化（AWQ、Exl2、GGML、GGUF、GPTQ）和 FP16 模型，提供一键安装程序。
• 更新：定期更新，有时可能与 SillyTavern 的兼容性出现问题。
• GitHub：Oobabooga TextGeneration WebUI GitHub

1. 确保您使用的是最新版本的 Oobabooga TextGen（截至 2023 年 11 月 14 日）。
2. 编辑 CMD_FLAGS.txt 文件，添加 --api 标志，然后重启 Ooba 的服务器。
3. 在 SillyTavern 中连接到 http://localhost:5000/（默认），不要勾选“Legacy API”选项。您可以从 Ooba 的控制台提供的 URL 中删除 /v1 后缀。

TabbyAPI搭配酒馆AI

• 特点：基于 Exllamav2 的轻量级 API，支持流式传输，支持 Exl2、GPTQ 和 FP16 模型，官方扩展允许直接从 SillyTavern 加载/卸载模型。
• 要求：不推荐低显存用户（无 CPU 卸载）。
• GitHub：TabbyAPI GitHub

3. SillyTavern（AI酒馆）云端 LLM API

OpenAI (ChatGPT)

• 特点：易于设置和获取 API 密钥，需要预付款并按提示收费，非常逻辑化，创意风格可能重复且可预测。
• 多模态：大多数新模型（如 gpt-4-turbo、gpt-4o）支持多模态。
• 网站：OpenAI Website
• 设置指南：OpenAI Setup Instructions

Claude (by Anthropic)

• 特点：推荐给希望 AI 聊天具有创意和独特写作风格的用户，需要预付款并按提示收费。
• 多模态：最新模型（Claude 3）支持多模态。
• 提示风格：需要特定的提示风格和使用预填充来引导回复。
• 网站：Claude Website

Mistral (by Mistral AI)

• 特点：高效模型，适用于各种大小和用途，您可以在其平台上创建账户和 API 密钥。
• 上下文大小：一般用途的上下文大小为 32k 到 128k，编码用途的上下文大小为 32k 到 256k。
• 免费层级：带有速率限制的免费层级。
• 内容审核：合理的内容审核，Mistral 的主要原则是保持中立并赋权用户。

OpenRouter

• 特点：WindowAI 浏览器扩展允许您使用自己的 API 密钥连接到上述云端 LLM，使用 OpenRouter 代替，支付他们的 API 密钥费用。
• 用途：如果您不想在每个服务上创建单独的账户，这非常有用。
• 网站：WindowAI Website 和 OpenRouter Website

DreamGen

• 特点：无内容过滤的模型，专为可引导的创意写作调整，提供免费月度积分和付费订阅。
• 模型大小：模型大小从 7B 到 70B。
• 设置指南：DreamGen Setup Instructions

AI Horde

• 特点：SillyTavern 可以开箱即用地访问此 API，无需额外设置，使用志愿者（Horde Workers）的 GPU 处理您的聊天输入。
• 限制：生成等待时间、AI 设置和可用模型取决于 Worker。

Mancer AI

• 特点：托管各种家族的无限制模型，使用“积分”支付各种模型的 token， 默认不记录提示，但可以启用以获得 token 积分折扣。
• API：使用类似于 Oobabooga TextGeneration WebUI 的 API，详见 Mancer 文档。
• 网站：Mancer AI Website
• 设置指南：Mancer AI Setup Instructions

NovelAI

• 特点：无内容过滤，需要付费订阅。
• 网站：NovelAI Website
• 设置指南：NovelAI Setup Instructions