草庐IT

Chinese-LangChain

全部标签

windows - 从 "chinese Windows"发送 std::wstring 到 "arabic Windows"

我有一个套接字,我通过它发送序列化的std::wstring,例如,从中文版的Windows到使用阿拉伯语UI的Unix系统。我不明白我的Unix系统(或其他任何系统)如何知道这些std::wstring是中文的,我没有看到“代码页”(又名国家语言?)存储在std中::wstring,我是否必须将自己与可能的每个std::wstring的代码页相关联?我肯定错过了一些东西,因为这看起来是我们相互联系的世界中的一个基本问题......谢谢, 最佳答案 wstring的目的是允许整个Unicode字符集,包括中文和阿拉伯语以及人类已知的

基于LLM的文档搜索引擎开发【Ray+LangChain】

Ray是一个非常强大的ML编排框架,但强大的功能伴随着大量的文档。事实上120兆字节。我们如何才能使该文档更易于访问?答案:使其可搜索!过去,创建自己的高质量搜索结果很困难。但通过使用LangChain,我们可以用大约100行代码来构建它。这就是LangChain的用武之地。LangChain为LLM相关的一切提供了一套令人惊叹的工具。它有点像HuggingFace,但专门针对LLM。有用于提示、索引、生成和总结文本的工具(链)。Ray虽然是一个令人惊叹的工具,但与它配合使用可以让LangChain变得更加强大。特别是,它可以:简单快速地帮助你部署LangChain服务。允许Chains与LL

从API到Agent:万字长文洞悉LangChain工程化设计

我想做一个尝试,看看能不能用尽量清晰的逻辑,给“AI外行人士”(当然,我也是……)引入一下LangChain,试着从工程角度去理解LangChain的设计和使用。同时大家也可以将此文档作为LangChain的“10分钟快速上手”手册,本意是希望帮助需要的同学实现AI工程的Bootstrap。文中所有的示例代码都已托管到GitHub:https://github.com/TuGraph-contrib/langchain-demo喜欢实操的小伙伴可以边阅读,边复现。1.引言1.1什么是LangChain?正式开始前,还是有必要从定义(What)开始。LangChain是2022年10月底,由哈佛

LangGraph:一个基于LangChain构建的AI库,用于创建具有状态、多参与者的应用程序

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行!订阅:https://rengongzhineng.io/。 需要构建一种系统,能够响应用户输入、记住过去的互动,并基于这些历史记录做出决策。这种需求对于创建更像智能代理的应用程序至关重要,它们能够维持对话、记住过去的上下文,并做出明智的决策。目前,一些解决方案解决了这个问题的部分方面。有些框架允许创建带有语言模型的应用程序,但它们无法有效地支

es混合检索与langchain检索增强

LangchainRetrieverMultiQueryRetriever,利用llm为问题生成3个意思接近的问题,根据3个问题检索相关文档并全部返回。MultiVectorRetriever,当同一个文档在向量库中因存储不同向量而存在多条记录时,通过id进行去重。代码实现非常简单,不知道有什么用,为什么不存储为多个向量字段而不是多个文档,可能是因为langchain的vectorstore只支持检索一个向量字段。classMultiVectorRetriever(BaseRetriever):"""Retrievefromasetofmultipleembeddingsforthesamed

多模态表征—CLIP及中文版Chinese-CLIP:理论讲解、代码微调与论文阅读

我之前一直在使用CLIP/Chinese-CLIP,但并未进行过系统的疏导。这次正好可以详细解释一下。相比于CLIP模型,Chinese-CLIP更适合我们的应用和微调,因为原始的CLIP模型只支持英文,对于我们的中文应用来说不够友好。Chinese-CLIP很好地弥补了这方面的不足,它使用了大量的中文-文图对进行训练,与CLIP模型架构完全一致。下面我将从4部分对本篇章进行讲解,讲解CLIP的主要内容;讲解Chinese-CLIP的主要内容;CLIP/Chinese-CLIP代码微调;CLIP/Chinese-CLIP论文重点阅读CLIP:https://arxiv.org/abs/2103

基于 LangChain 框架,向量数据库如何创建、读取、更新、删除(CRUD)

RAG是目前大语言模型从工具走向生产力实践的最热门的方式,它可以实现从海量的文本数据中检索相关的信息,并用于生成高质量的文本输出。而聊到RAG,我们就很难避开使用RAG的基础设施-向量数据库今天我将带领大家,以最为基础的CRUD入手来看看向量数据库应该如何使用。考虑到目前市面上的向量数据库众多,每个数据库的操作方式也无统一标准本文将基于LangChain提供的VectorStore类中的统一操作方法,以chroma向量数据库作为示例进行演示。文章目录通俗易懂讲解大模型系列技术交流&资料向量数据库-新增向量数据库-删除向量数据库-更新向量数据库-查询结语通俗易懂讲解大模型系列做大模型也有1年多了

【2024最全最细Langchain教程-1 】调用openai实现人工智能时代的hello_world

 环境准备:1.安装python3.10(其他版本亦可,不要低于3.8)2.找一个文件夹,建立一下python的虚拟环境python-mvenv.venv#创建虚拟的python环境.\.venv\Scripts\activate#进入虚拟环境并激活2.进入虚拟环境后,安装jupyter开发环境(前期教学最好用,后期大项目要安装pycharm)pipinstalljupyter3.激活jupyter工具,这是一个在浏览器上运行的开发工具,进入地址为localhost:8888jupyternotebook进行openai的调用:1.安装和引入需要用的包和openai库   安装openai的库

用通俗易懂的方式讲解大模型:使用 LangChain 封装自定义的 LLM,太棒了

Langchain默认使用OpenAI的LLM(大语言模型)来进行文本推理工作,但主要的问题就是数据的安全性,跟OpenAILLM交互的数据都会上传到OpenAI的服务器。企业内部如果想要使用LangChain来构建应用,那最好是让LangChain使用企业内部的LLM,这样才能保证数据不泄露。LangChain提供了集成多种LLM的能力,包括自定义的LLM,今天我们就来介绍一下如何使用LangChain来集成自定义的LLM以及其中的实现原理。开源大模型虽然现在的商业大模型(OpenAI和Anthropic)功能十分强大,但开源大模型愈来愈有迎头赶上的趋势,比如最近刚发布的Falcon-180

Java-langchain:在Java环境中构建强大的基于LLM的应用程序

Java-langchain:一个Java8+的LangChain实现。在(企业)Java环境中构建强大的基于LLM的应用程序。这里持续连载详细的Java入门的LLM学习课程。课程分四个部分:面向开发者的提示工程(promptdevelopment)搭建基于ChatGPT的问答系统(chagptapi)使用LangChain开发应用程序(langchain)使用LangChain访问个人数据(开发中)Java快速转换到大模型开发:配套课程的所有代码已经发布在:https://github.com/Starcloud-Cloud/java-langchain课程合作请留言