AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）

curl http://localhost:8080/models/apply
-H “Content-Type: application/json”
-d ‘{ “id”: “model-gallery@bert-embeddings” }’

curl http://localhost:8080/v1/embeddings
-H “Content-Type: application/json”
-d ‘{ “input”: “The food was delicious and the waiter…”,
“model”: “bert-embeddings” }’

{
“created”: 1702050873,
“object”: “list”,
“id”: “b11eba4b-d65f-46e1-8b50-38d3251e3b52”,
“model”: “bert-embeddings”,
“data”: [
{
“embedding”: [
-0.043848168,
0.067443006,
…
0.03223838,
0.013112408,
0.06982294,
-0.017132297,
-0.05828256
],
“index”: 0,
“object”: “embedding”
}
],
“usage”: {
“prompt_tokens”: 0,
“completion_tokens”: 0,
“total_tokens”: 0
}
}

随后，我们探索 Hugging Face 的LLM：Zephyr-7B-β，这是基础 Mistral 7B 模型的改进版本。.

curl http://localhost:8080/models/apply
-H “Content-Type: application/json”
-d ‘{ “id”: “huggingface@thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf”,
“name”: “zephyr-7b-beta” }’

curl http://localhost:8080/v1/chat/completions
-H “Content-Type: application/json”
-d ‘{ “model”: “zephyr-7b-beta”,
“messages”: [{
“role”: “user”,
“content”: “Why is the Earth round?”}],
“temperature”: 0.9 }’

{
“created”: 1702050808,
“object”: “chat.completion”,
“id”: “67620f7e-0bc0-4402-9a21-878e4c4035ce”,
“model”: “thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf”,
“choices”: [
{
“index”: 0,
“finish_reason”: “stop”,
“message”: {
“role”: “assistant”,
“content”: “\nThe Earth appears round because it is
actually a spherical body. This shape is a result of the
gravitational forces acting upon it from all directions. The force
of gravity pulls matter towards the center of the Earth, causing
it to become more compact and round in shape. Additionally, the
Earth’s rotation causes it to bulge slightly at the equator,
further contributing to its roundness. While the Earth may appear
flat from a distance, up close it is clear that our planet is
indeed round.”
}
}
],
“usage”: {
“prompt_tokens”: 0,
“completion_tokens”: 0,
“total_tokens”: 0
}
}

3.3、部署和配置 AnythingLLM

docker pull mintplexlabs/anythingllm:master

export STORAGE_LOCATION=”/var/lib/anythingllm” && \
mkdir -p $STORAGE_LOCATION && \
touch “$STORAGE_LOCATION/.env” && \
docker run -d -p 3001:3001 \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR=”/app/server/storage” \
mintplexlabs/anythingllm:master

Adding new vectorized document into namespace playground
Chunks created from document: 4
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-3163747c-a2e1-459c-92e4-b9ec8a6de366.json to prevent duplicated embedding.
Adding new vectorized document into namespace playground
Chunks created from document: 8
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-f8dfa1c0-82d3-48c3-bac4-ceb2693a0fa8.json to prevent duplicated embedding.

此功能使我们能够与文档进行交互式对话。

 AnythingLLM 的一个有趣功能是它能够显示构成其响应基础的内容。

总之，AnythingLLM 及其中的每个工作区都提供了一系列可配置参数。其中包括系统提示、响应温度、聊天记录、文档相似度阈值等，从而实现定制化、高效的用户体验。

3.4、安装和配置 Vector Admin

为了完成我们的架构，我们现在专注于安装 Vector Admin GUI，它是一个强大的工具，用于可视化和管理 AnythingLLM 在 Chroma 中存储的向量。

安装过程涉及利用 Mintplex Labs 提供的 Docker 容器：一个用于 Vector Admin 应用程序，另一个用于 PostgreSQL 数据库，该数据库存储应用程序的配置和聊天历史记录。

git clone https://github.com/Mintplex-Labs/vector-admin.git
cd vector-admin/docker/
cp .env.example .env

我们修改 .env 文件，将服务器端口从 3001 调整为 3002，避免与 AnythingLLM 已使用的端口发生冲突。在Linux系统上，还需要为PostgreSQL连接字符串设置默认的Docker网关IP地址。

SERVER_PORT=3002
DATABASE_CONNECTION_STRING=”postgresql://vectoradmin:password@127.0.0.1:5433/vdbms”

此外，我们配置 SYS_EMAIL 和 SYS_PASSWORD 变量来定义第一个 GUI 连接的凭据。

鉴于默认端口的更改，我们还在 docker-compose.yaml 和 Dockerfile 中反映了此修改。

配置完后端之后，我们将注意力转向前端安装。

cd ../frontend/
cp .env.example .env.production

在 .env.production 文件中，我们更新端口以与 Docker 网关保持一致。

GENERATE_SOURCEMAP=false
VITE_API_BASE=”http://127.0.0.1:3002/api”

完成这些设置后，我们构建并启动 Docker 容器。

docker compose up -d –build vector-admin

通过 http://localhost:3002 访问 GUI 非常简单。初始连接使用 .env 文件中指定的 SYS_EMAIL 和 SYS_PASSWORD 值。仅在首次登录时需要这些凭据，以从 GUI 创建主管理员用户并开始配置该工具。

GUI 中的第一步是创建组织，然后建立向量数据库连接。对于数据库类型，我们选择 Chroma，尽管 Pinecone、QDrant 和 Weaviate 也是兼容的选项。

同步工作区数据后，存储在 Chroma 内“playground”集合中的文档和向量变得可见。

这些载体的详细信息也可用于深入分析。

关于功能的说明：直接通过 Vector Admin 编辑向量内容目前受到限制，因为它利用 OpenAI 的嵌入模型。由于我们选择了 s-BERT MiniLM，因此此功能不可用。如果我们选择 OpenAI 的模型，上传新文档并将向量直接嵌入到 Chroma 中是可能的。

Vector Admin 还拥有其他功能，如用户管理和高级工具，包括相似性搜索中的自动偏差检测、即将推出的快照以及组织之间的迁移功能（以及扩展后的 vectostores）。

该工具特别令人钦佩的是它能够完全控制载体，从而大大简化其管理。

四、总结

至此，我们对Mintplex Labs的AnythingLLM和Vector Admin进行了全面探索。这些工具简化了RAG模式的设置流程，并使得与文档的对话交互成为可能。随着这些项目不断进化，新功能也在不断推出。因此，关注他们的更新并开始使用这些工具来交互式处理您的文件将是一个明智的选择。

五、References

[1]. AnythingLLM GitHub: https://github.com/Mintplex-Labs/anything-llm

[2]. LocalAI Docs: https://localai.io/

[3]. VectorAdmin: https://vectoradmin.com/

[4]. AnythingLLM: https://useanything.com/