向量对比#

在智能体开发中，使用向量对比，可以使相似度高的两个提示词，调用缓存来进行回答，这样可以减少token和资源的消耗

初始化项目这里我使用的是pnpm

1
pnpm init

需要安装以下两个包

@langchain/ollama用于调用大模型

1
pnpm add @langchain/ollama

cosine-similarity用于进行余弦比较

1
pnpm add cosine-similarity

先引入两个包，创建问题回答模型和向量转换模型

1
import { Ollama, OllamaEmbeddings } from '@langchain/ollama'
2
// 余弦比较用于比较向量
3
import cosineSimilarity from 'cosine-similarity'
4

5
// 问题回答模型
6
const chatModel = new Ollama({
7
  model: "llama3.2",
8
  stream: true
9
})
10

11
// 向量转换模型
12
const embedder = new OllamaEmbeddings({
13
  model: "nomic-embed-text-v2-moe"
14
})

创建缓存，并且编写向量对比函数，函数接收两个参数

用户的提示词
向量对比的阈值，如果大于等于阈值则使用缓存里面的回复，如果小于阈值，调用模型并且把用户提示词、向量、回复存入缓存。

1
import { Ollama, OllamaEmbeddings } from '@langchain/ollama'
2
// 余弦比较用于比较向量
3
import cosineSimilarity from 'cosine-similarity'
4

5
// 问题回答模型
6
const chatModel = new Ollama({
7
  model: "llama3.2",
8
  stream: true
9
})
10

11
// 向量转换模型
12
const embedder = new OllamaEmbeddings({
13
  model: "nomic-embed-text-v2-moe"
14
})
15

16
/**
17
 * 存储缓存
18
 * item结构为
19
 * {
20
    input: textInput, // 用户的原始提示词
21
    embedding: queryEmbedder, // 该提示词的向量
22
    response: fullRes // 大模型的回复
23
  }
24
 */
25
let cache = []
26

27
async function callLLM (textInput, threshold = 0.6) {
28
  // 先吧用户问题转换为向量
29
  const queryEmbedder = await embedder.embedQuery(textInput)
30

31
  // 比较用户和缓存的每一项
32
  for (const item of cache) {
33
    const score = cosineSimilarity(queryEmbedder, item.embedding)
34
    // 得到的分数和阈值做比较
35
    if (score >= threshold) {
36
      // 大于等于阈值就使用缓存里面的回答
37
      console.log(`命中缓存\n`)
38
      process.stdout.write(item.response)
39
      return
40
    }
41
  }
42

43
  // 如果缓存没命中调用模型，并且吧结果存储到缓存中
44
  let fullRes = ''
45

46
  const res = await chatModel.stream(textInput)
47
  console.log(`未命中缓存\n`)
48
  for await (const chunk of res) {
49
    process.stdout.write(chunk)
50
    fullRes += chunk
51
  }
52
  console.log(`\n`)
53

54
  // 存入缓存
55
  cache.push({
56
    input: textInput, // 用户的原始提示词
57
    embedding: queryEmbedder, // 该提示词的向量
58
    response: fullRes // 大模型的回复
59
  })
60
  return
61
}
62

63

64
await callLLM('请你说一下muv-luv这部作品')
65

66
await callLLM('我想了解一下muv-luv这部作品')