余弦相似度 Python

余弦相似度是用于衡量两个向量的相似程度的方法，广泛应用于信息检索、自然语言处理和其他数据挖掘领域。

在 Python 中，可以使用多种工具来计算余弦相似度，其中一些最常见的工具包括 numpy、scipy 和 sklearn。在下面的示例中，我们将使用 numpy 来计算两个向量之间的余弦相似度。

示例

首先，我们需要导入 numpy 包以进行向量计算。我们还将使用一个名为 cosine_similarity 的函数来计算两个向量之间的余弦相似度。

import numpy as np

def cosine_similarity(a, b):
    """
    计算两个向量之间的余弦相似度
    """
    dot_product = np.dot(a, b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b)

有了这个函数，我们现在可以计算任意两个向量之间的余弦相似度。例如，假设我们有两个向量 a 和 b：

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

我们可以使用上面定义的函数来计算它们之间的余弦相似度：

similarity = cosine_similarity(a, b)
print(similarity) # 输出 0.9746318461970762

注意，余弦相似度的结果范围从 -1 到 1，其中 -1 表示两个向量方向完全相反，1 表示两个向量完全一致，0 表示两个向量完全没有相关性。在上面的示例中，我们得到的余弦相似度接近于 1，这意味着向量 a 和 b 非常相似。

应用

余弦相似度在文本处理和自然语言处理中广泛应用。例如，我们可以使用余弦相似度来计算两个文档之间的相似度。首先，我们需要将文档表示为向量。这可以通过将每个词映射到一个向量空间中的点来实现。然后，我们可以计算两个文档向量之间的余弦相似度，得到它们之间的相似程度。

下面是一个简单的示例，展示了如何将两个句子表示为向量，并计算它们之间的余弦相似度：

from sklearn.feature_extraction.text import CountVectorizer

def cosine_similarity_text(s1, s2):
    """
    计算两个句子之间的余弦相似度
    """
    vectorizer = CountVectorizer().fit_transform([s1, s2])
    vectors = vectorizer.toarray()
    return cosine_similarity(vectors[0], vectors[1])

s1 = "这是一个例子。"
s2 = "这是另一个例子。"
similarity = cosine_similarity_text(s1, s2)
print(similarity) # 输出 0.6666666666666666

在上面的示例中，我们将两个句子转换为向量，并使用之前定义的函数来计算它们之间的余弦相似度。结果值为 0.6666，这意味着两个句子非常相似。

结论

余弦相似度是一种实用的工具，用于衡量两个向量之间的相似程度。在 Python 中，可以使用多种工具包来计算余弦相似度，其中最常见的是 numpy、scipy 和 sklearn。余弦相似度在文本处理和自然语言处理中广泛应用，例如用于计算两个文档之间的相似度。