水熊虫
水熊虫
不认命,就拼命!
264文章 53分类

大模型应用--RAG(三)

文本向量化

自然语言处理之TF-IDF算法

TF-IDF对于文档搜索中tf-idf应用非常广泛,甚至在es数据库中作为默认的检索方式,这里就简单介绍一个tf-idf算法。首先思考一个问题,假如我们对一系列文章进行分词统计等操作,如果某个词出现的特别多,那么它是不是很重要呢?于是,我们进行"词频"(TermFrequency
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×