把文本转成数值向量,语义相近的文本向量距离近。
import numpy as np
def cosine_similarity(a, b):
"""计算余弦相似度"""
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# 示例:语义相近的句子
# "Python 是编程语言" vs "JavaScript 是编程语言" → 相似度高
# "Python 是编程语言" vs "今天吃什么" → 相似度低
uv add chromadb
import chromadb
client = chromadb.PersistentClient(path="./chroma_db")
collection = client.get_or_create_collection("docs")
# 添加文档
collection.add(
documents=["Python 是编程语言", "FastAPI 是 Web 框架"],
ids=["doc1", "doc2"]
)
# 查询
results = collection.query(
query_texts=["什么是 Python?"],
n_results=2
)
print(results["documents"])
def cosine_similarity(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# 向量越相似,值越接近 1
collection.add(documents=[text], ids=[filename])
# 批量索引文档