草庐IT

langchain

全部标签

基于LLM的文档搜索引擎开发【Ray+LangChain】

Ray是一个非常强大的ML编排框架,但强大的功能伴随着大量的文档。事实上120兆字节。我们如何才能使该文档更易于访问?答案:使其可搜索!过去,创建自己的高质量搜索结果很困难。但通过使用LangChain,我们可以用大约100行代码来构建它。这就是LangChain的用武之地。LangChain为LLM相关的一切提供了一套令人惊叹的工具。它有点像HuggingFace,但专门针对LLM。有用于提示、索引、生成和总结文本的工具(链)。Ray虽然是一个令人惊叹的工具,但与它配合使用可以让LangChain变得更加强大。特别是,它可以:简单快速地帮助你部署LangChain服务。允许Chains与LL

从API到Agent:万字长文洞悉LangChain工程化设计

我想做一个尝试,看看能不能用尽量清晰的逻辑,给“AI外行人士”(当然,我也是……)引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本意是希望帮助需要的同学实现AI工程的Bootstrap。文中所有的示例代码都已托管到GitHub:https://github.com/TuGraph-contrib/langchain-demo喜欢实操的小伙伴可以边阅读,边复现。1.引言1.1什么是LangChain?正式开始前,还是有必要从定义(What)开始。LangChain是2022年10月底,由哈佛

LangGraph:一个基于LangChain构建的AI库,用于创建具有状态、多参与者的应用程序

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行!订阅:https://rengongzhineng.io/。 需要构建一种系统,能够响应用户输入、记住过去的互动,并基于这些历史记录做出决策。这种需求对于创建更像智能代理的应用程序至关重要,它们能够维持对话、记住过去的上下文,并做出明智的决策。目前,一些解决方案解决了这个问题的部分方面。有些框架允许创建带有语言模型的应用程序,但它们无法有效地支

es混合检索与langchain检索增强

LangchainRetrieverMultiQueryRetriever,利用llm为问题生成3个意思接近的问题,根据3个问题检索相关文档并全部返回。MultiVectorRetriever,当同一个文档在向量库中因存储不同向量而存在多条记录时,通过id进行去重。代码实现非常简单,不知道有什么用,为什么不存储为多个向量字段而不是多个文档,可能是因为langchain的vectorstore只支持检索一个向量字段。classMultiVectorRetriever(BaseRetriever):"""Retrievefromasetofmultipleembeddingsforthesamed

基于 LangChain 框架,向量数据库如何创建、读取、更新、删除(CRUD)

RAG是目前大语言模型从工具走向生产力实践的最热门的方式,它可以实现从海量的文本数据中检索相关的信息,并用于生成高质量的文本输出。而聊到RAG,我们就很难避开使用RAG的基础设施-向量数据库今天我将带领大家,以最为基础的CRUD入手来看看向量数据库应该如何使用。考虑到目前市面上的向量数据库众多,每个数据库的操作方式也无统一标准本文将基于LangChain提供的VectorStore类中的统一操作方法,以chroma向量数据库作为示例进行演示。文章目录通俗易懂讲解大模型系列技术交流&资料向量数据库-新增向量数据库-删除向量数据库-更新向量数据库-查询结语通俗易懂讲解大模型系列做大模型也有1年多了

【2024最全最细Langchain教程-1 】调用openai实现人工智能时代的hello_world

 环境准备:1.安装python3.10(其他版本亦可,不要低于3.8)2.找一个文件夹,建立一下python的虚拟环境python-mvenv.venv#创建虚拟的python环境.\.venv\Scripts\activate#进入虚拟环境并激活2.进入虚拟环境后,安装jupyter开发环境(前期教学最好用,后期大项目要安装pycharm)pipinstalljupyter3.激活jupyter工具,这是一个在浏览器上运行的开发工具,进入地址为localhost:8888jupyternotebook进行openai的调用:1.安装和引入需要用的包和openai库   安装openai的库

用通俗易懂的方式讲解大模型:使用 LangChain 封装自定义的 LLM,太棒了

Langchain默认使用OpenAI的LLM(大语言模型)来进行文本推理工作,但主要的问题就是数据的安全性,跟OpenAILLM交互的数据都会上传到OpenAI的服务器。企业内部如果想要使用LangChain来构建应用,那最好是让LangChain使用企业内部的LLM,这样才能保证数据不泄露。LangChain提供了集成多种LLM的能力,包括自定义的LLM,今天我们就来介绍一下如何使用LangChain来集成自定义的LLM以及其中的实现原理。开源大模型虽然现在的商业大模型(OpenAI和Anthropic)功能十分强大,但开源大模型愈来愈有迎头赶上的趋势,比如最近刚发布的Falcon-180

Java-langchain:在Java环境中构建强大的基于LLM的应用程序

Java-langchain:一个Java8+的LangChain实现。在(企业)Java环境中构建强大的基于LLM的应用程序。这里持续连载详细的Java入门的LLM学习课程。课程分四个部分:面向开发者的提示工程(promptdevelopment)搭建基于ChatGPT的问答系统(chagptapi)使用LangChain开发应用程序(langchain)使用LangChain访问个人数据(开发中)Java快速转换到大模型开发:配套课程的所有代码已经发布在:https://github.com/Starcloud-Cloud/java-langchain课程合作请留言

Elasticsearch:基于 Langchain 的 Elasticsearch Agent 对文档的搜索

在今天的文章中,我们将重点介绍如何使用LangChain提供的基础设施在Python中构建Elasticsearchagent。该agent应允许用户以自然语言询问有关Elasticsearch集群中数据的问题。Elasticsearch是一个强大的搜索引擎,支持词法和向量搜索。ElasticSearch可以在RAG(检索增强生成)的上下文中使用,但这不是我们在本故事中的主题。因此,我们不会使用Elasticsearch检索文档来创建注入提示中的上下文。相反,我们在agent的上下文中使用Elasticsearch,即我们正在构建一个agent,它以自然语言与Elasticsearch进行通信

一文解析如何基于 LangChain 构建 LLM 应用程序

Hellofolks,我是Luga,今天我们继续来聊一下人工智能(AI)生态领域相关的技术-LangChain,本文将继续聚焦在针对LangChain的技术进行剖析,使得大家能够了解LangChain实现机制以便更好地对利用其进行应用及市场开发。在日新月异的人工智能领域,语言模型已经成为舞台主角,重新定义了人机交互的方式。ChatGPT的广泛认可以及Google等科技巨头纷纷推出类似产品,使语言模型,尤其是LLM,成为科技界瞩目焦点。从某种意义上来讲,LLM代表了人工智能理解、解释和生成人类语言能力的重大飞跃,经过海量文本数据的训练,能够掌握复杂的语言模式和语义细微差别。凭借前所未有的语言处理