es-php客户端安装
php环境版本要求：
PHP >=7.1.0
ext-curl
ext-json
es-php扩展下载地址：
https://www.elastic.co/guide/en/elasticsearch/client/php-api/7.x/installation.html
引在thinkphp6框架中引入elasticsearch/elasticsearch包
composer require elasticsearch/elasticsearch="^7.0"
连接es-php客户端
参考文档：
https://www.elastic.co/guide/en/elasticsearch/client/php-api/7.x/connceting.html
# 引入开发包
use Elasticsearch\ClientBuilder;
$client = ClientBuilder::create()->setHosts(['192.168.1.128:9200'])->build();
es-php索引创建删除
参考文档：
https://www.elastic.co/guide/en/elasticsearch/client/php-api/7.x/index_management.html
创建索引
$index = [
"index"=>"lampol",
"body"=>[
"mappings"=>[
"properties"=>[
"name"=>[
"type"=>"keyword"
],
"age"=>[
"type"=>"byte"
],
"addr"=>[
"type"=>"text",
"analyzer"=>"ik_max_word"
]
]
]
]
];
$response = $client->indices()->create($index);
判断索引是否存在、获取mapping数据结构、删除索引index
# 判断索引是否存在
$response = $client->indices()->exists(['index'=>'lampol']);
# 获取mapping数据结构
$response = $client->indices()->getMapping(['index'=>'lampol']);
# 删除索引index
$response = $client->indices()->delete(['index'=>'test1']);
es-php文档单个插入以及批量插入
文档单个插入
$doc = [
"index"=>'lampol',
"id"=>1,
"body"=>[
"name"=>"liudehua",
"age"=>33,
"addr"=>"中国广东省深圳市"
]
];
$response = $client->index($doc);
批量插入
$docs['body'] = [
['index'=>['_index'=>'lampol','_id'=>2]],
['name'=>'liming','age'=>43,'addr'=>'山东省青岛市'],
['index'=>['_index'=>'lampol','_id'=>3]],
['name'=>'郭富城','age'=>53,'addr'=>'山东省枣庄市']
];
$response = $client->bulk($docs);
es-php文档查询修改删除
# 文档查询id=3
$id = ['index'=>'lampol','id'=>3,'_source'=>['name','age'=>33]];
$response = $client->get($id);
# 查询
$param = [
'index'=>'lampol',
'body'=>[
'query'=>[
'match'=>[
'addr'=>'深圳'
]
]
]
];
$response = $client->search($param);
# 文档更新id=1
$doc = [
'index'=>'lampol',
'id'=>1,
'body'=>[
'doc'=>[
'age'=>53
]
]
];
$response = $client->update($doc);
# 文档删除id=3
$id = ['index'=>'lampol','id'=>3];
$response = $client->delete($id);
logstash安装及同步插件jdbc安装配置
1）安装logstash
下载路径（7.12.0版本）
https://www.elastic.co/cn/downloads/past-releases/logstash-7-12-0
# 将logstash解压到指定目录下
tar xzf logstash-7.12.0-linux-x86_64.tar.gz -C /usr/local/
# 进入到
cd /usr/local/logstash-7.12.0
# 创建java包目录
mkdir logstash-input-jdbc
# 下载mysql-connector-java连接数据库java包放入到logstash-input-jdbc目录中
https://repo1.maven.org/maven2/mysql/mysql-connector-java/
# 移动到指定目录
mv mysql-connector-java-8.0.12.jar /usr/local/logstash-7.12.0/logstash-input-jdbc/
2）配置数据库连接，同是指定读取的数据库表数据
vi /usr/local/logstash-7.12.0/logstash-input-jdbc/mysql.conf
# 写入内容
# 数据输入
input{
jdbc {
# mysql的配置信息
jdbc_connection_string => "jdbc:mysql://192.168.1.106:3306/shop?characterEncoding=utf8&useSSL=false&serverTimezone=PRC&rewriteBatchedStatements=true"
jdbc_user => "root"
jdbc_password => "root"
# java驱动程序，logstash不自带的，如果我们不指定它，logstash则在其java类路径中查找(logstash/logstash-core/lib/jars)
jdbc_driver_library => "/usr/local/logstash-7.12.0/logstash-input-jdbc/mysql-connector-java-8.0.12.jar"
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
# 定时调度器
schedule => "* * * * *"
# 指定追踪的递增字段名称
tracking_column => "id"
# 启用追踪，如果为true，则需要指定tracking_column。tracking_column值作为:sql_last_value，当设置为false时:sql_last_value为最后一次执行查询的时间
use_column_value => "true"
# 同步点文件，这个文件记录了上次的同步点，重启时会读取这个文件，这个文件可以手动修改
last_run_metadata_path => "usr/local/logstash-7.12.0/logstash-input-jdbc/tt.txt"
# 执行读取mysql数据库操作的sql语句，将数据查询出来，如果数据比较多加入limit限制
statement => "SELECT id,goods_title from goods"
# 默认时区
jdbc_default_timezone =>"Asia/Shanghai"
# 是否分页分批次从mysql中读取数据再写入es
# jdbc_paging_enabled => "true"
# jdbc_page_size => "1000"
# 追踪字段的类型。目前只有"numeric"和"timestamp"，默认numeric
# tracking_column_type => "timestamp"
}
}
# 过滤字段，一般不用过滤字段的
filter {
mutate {
remove_field => ["@timestamp","@version"]
}
}
# 数据输出
output{
elasticsearch {
hosts => ["http://192.168.1.128:9200"]
index => "goods"
document_id => "%{id}"
}
}
3）创建指定索引goods
PUT /goods
{
"mappings": {
"properties": {
"id":{
"type":"integer"
},
"goods_type":{
"type":"text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
}
}
}
}
4）运行logstash服务
/usr/local/logstash-7.12.0/bin/logstash -f /usr/local/logstash-7.12.0/logstash-input-jdbc/mysql.conf
查看数据同步到es下goods情况
# 显示不同索引index下有多少数据
GET /_cat/indices?v
tp6查询并列表高亮展示
搜索页面
D:\phpstudy_pro\WWW\thinkphp6\view\goods\search.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="description" content="">
<meta name="author" content="">
<title>ElasticSearch PHP 实战搜索</title>
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap.min.css">
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap-theme.min.css">
</head>
<body class="bs-docs-home">
<div class="container theme-showcase">
<h1 style=" line-height:2em;"></h1><br/>
<div class="row">
<div class="col-sm-3"></div>
<div class="col-sm-12">
<div class="panel panel-primary">
<div class="panel-heading">
<h3 class="panel-title"><strong>ElasticSearch PHP 实战搜索</strong></h3>
</div>
<div class="panel-body">
<div class="alert alert-dismissable">
<form action="/search" method="post" role="form" name="form1">
<div class="form-group">
<div class="input-group">
<input type="text" class="form-control" name="keywords" placeholder="关键词">
<span class="input-group-btn">
<button class="btn btn-default" type="submit">开始搜索</button>
</span>
</div>
</div>
</form>
<button class="btn btn-success" onclick="location.href='/goods/create'" type="button">添加商品</button>
</div>
</div>
</div>
<div class="col-sm-3"></div>
</div>
</div>
<script src="https://code.jquery.com/jquery-1.10.2.min.js"></script>
<script src="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/js/bootstrap.min.js"></script>
</body>
</html>
列表页面：上一页、下一页、高亮展示列表数据
D:\phpstudy_pro\WWW\thinkphp6\view\goods\list.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="description" content="">
<meta name="author" content="">
<title>ElasticSearch PHP 实战搜索</title>
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap.min.css">
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap-theme.min.css">
</head>
<body class="bs-docs-home">
<div class="container theme-showcase">
<h1 style=" line-height:2em;"></h1><br/>
<div class="row">
<div class="col-sm-3"></div>
<div class="col-sm-12">
<div class="panel panel-primary">
<div class="panel-heading">
<h3 class="panel-title"><strong>ElasticSearch PHP 实战搜索-商品列表</strong></h3>
</div>
<div class="panel-body">
<div class="alert alert-dismissable">
<div class="table-responsive">
<table border="0" cellspacing="0" cellpadding="0" class="table">
<tr class=" label-primary">
<th scope="col" width="20%"><span style="color:white">id</span></th>
<th scope="col"><span style="color:white">商品标题</span></th>
<th scope="col"><span style="color:white">操作</span></th>
</tr>
{foreach $goods as $v}
<tr class="success">
<td>{$v['_source']['id']}</td>
<td>{$v['highlight']['goods_title'][0]|raw}</td>
<td>
<button class="btn btn-default" type="button"
onclick="location.href='/goods/'+{$v['_source']['id']}+'/edit'">编辑
</button>
<button class="btn btn-danger" type="button" onclick="del({$v['_source']['id']})">删除</button>
</td>
</tr>
{/foreach}
</table>
</div>
<div class="col-sm-12">
<div class="col-sm-10"></div>
<nav aria-label="Page navigation">
<ul class="pagination">
<li>
<a href="/search?keywords={$keywords}&page={$pre}" aria-label="Previous">
<span aria-hidden="true">上一页</span>
</a>
</li>
<li>
<a href="/search?keywords={$keywords}&page={$next}" aria-label="Next">
<span aria-hidden="true">下一页</span>
</a>
</li>
</ul>
</nav>
</div>
</div>
</div>
</div>
</div>
</div>
<script src="https://code.jquery.com/jquery-1.10.2.min.js"></script>
<script src="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/js/bootstrap.min.js"></script>
</body>
</html>
<script>
function del(id){
$.ajax({
url:'/goods/'+id,
type:'DELETE',
sueccess:function (res){
console.log(res);
// location.href='/search'
}
});
}
</script>
控制器
D:\phpstudy_pro\WWW\thinkphp6\app\controller\Goods.php
# 引入
use Elasticsearch\ClientBuilder;
class Goods
{
public function index()
{
return view('search');
}
public function search(Request $request)
{
//与es建立连接
$client = ClientBuilder::create()->setHosts(['192.168.1.128:9200'])->build();
$keywords = $request->param('keywords', '', 'trim');
$page = $request->param('page');
$size = 20;
if ($page) {
$from = ($page - 1) * 20;
$pre = $page - 1;
$next = $page + 1;
} else {
$pre = 1;
$next = 2;
$from = ($pre - 1) * 20;
}
$search = [
'index' => 'goods',
'body' => [
'query' => [
'match' => [
'goods_title' => $keywords
]
],
'from' => $from,
'size' => $size,
'highlight' => [
'fields' => [
'goods_title' => new \stdClass()
],
'pre_tags' => ["<font style='color:red'>"],
'post_tags' => ['</font>']
]
]
];
$res = $client->search($search);
return view('list', ['goods' => $res['hits']['hits'], 'keywords' => $keywords, 'pre' => $pre, 'next' => $next]);
}
}
高亮报错处理：
https://www.elastic.co/guide/en/elasticsearch/client/php-api/current/php_json_objects.html
new \stdClass()
es实战之php添加文档到es
为了保证es和数据库中数据实时同步，在保存数据入mysql同时保存一份在es
添加页面
D:\phpstudy_pro\WWW\thinkphp6\view\goods\add.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="description" content="">
<meta name="author" content="">
<title>ElasticSearch PHP 实战搜索</title>
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap.min.css">
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap-theme.min.css">
</head>
<body class="bs-docs-home">
<div class="container theme-showcase">
<h1 style=" line-height:2em;"></h1><br/>
<div class="row">
<div class="col-sm-3"></div>
<div class="col-sm-12">
<div class="panel panel-primary">
<div class="panel-heading">
<h3 class="panel-title"><strong>ElasticSearch PHP 实战搜索-添加商品</strong></h3>
</div>
<div class="panel-body">
<div class="alert alert-dismissable">
<form action="/goods" method="post" role="form" name="form1">
<div class="form-group">
<div class="input-group">
<input type="text" name="goods_title" class="form-control" placeholder="商品标题">
<span class="input-group-btn">
<button class="btn btn-default" type="submit">添加</button>
</span>
</div>
</div>
</form>
</div>
</div>
</div>
<div class="col-sm-3"></div>
</div>
</div>
<script src="https://code.jquery.com/jquery-1.10.2.min.js"></script>
<script src="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/js/bootstrap.min.js"></script>
</body>
</html>
控制器
public function create()
{
return view('add');
}
public function save(Request $request)
{
$client = ClientBuilder::create()->setHosts(['192.168.1.128:9200'])->build();
$goods_title = $request->param('goods_title');
$cat_id = 200;
//插入数据库同时插入es
$id = Db::name('goods')->insertGetId(['cat_id'=>$cat_id,'goods_title'=>$goods_title]);
$doc = [
'index'=>'goods',
'id'=>$id,
'body'=>[
'id'=>$id,
'goods_title'=>$goods_title
]
];
$client->index($doc);
return view('search');
}
es实战之php更新文档
更新数据库同时更新es
更新页面
D:\phpstudy_pro\WWW\thinkphp6\view\goods\edit.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="description" content="">
<meta name="author" content="">
<title>ElasticSearch PHP 实战搜索</title>
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap.min.css">
<link rel="stylesheet" href="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/css/bootstrap-theme.min.css">
</head>
<body class="bs-docs-home">
<div class="container theme-showcase">
<h1 style=" line-height:2em;"></h1><br/>
<div class="row">
<div class="col-sm-3"></div>
<div class="col-sm-12">
<div class="panel panel-primary">
<div class="panel-heading">
<h3 class="panel-title"><strong>ElasticSearch PHP 实战搜索-编辑商品</strong></h3>
</div>
<div class="panel-body">
<div class="alert alert-dismissable">
<form action="/goods/{$goods['id']}" method="post" role="form" name="form1">
<input type="hidden" name="_method" value="PUT">
<div class="form-group">
<div class="input-group">
<input type="text" name="goods_title" class="form-control"
value="{$goods['goods_title']}">
<span class="input-group-btn">
<button class="btn btn-default" type="submit">保存</button>
</span>
</div>
</div>
</form>
</div>
</div>
</div>
<div class="col-sm-3"></div>
</div>
</div>
<script src="https://code.jquery.com/jquery-1.10.2.min.js"></script>
<script src="http://cdn.bootcss.com/twitter-bootstrap/3.0.1/js/bootstrap.min.js"></script>
</body>
</html>
控制器
public function edit($id)
{
$goods = Db::name('goods')->where('id', $id)->find();
return view('edit', ['goods' => $goods]);
}
public function update(Request $request, $id)
{
$goods_title = $request->param('goods_title');
//1、更新数据库
Db::name('goods')->where('id', $id)->update(['goods_title' => $goods_title]);
//2、更新es
$client = ClientBuilder::create()->setHosts(['192.168.1.128:9200'])->build();
$doc = [
'index' => 'goods',
'id' => $id,
'body' => [
'doc'=>[
'goods_title' => $goods_title
]
]
];
$client->update($doc);
return view('search');
}
php删除es文档
控制器
public function delete($id)
{
//1、删除数据库id数据
Db::name('goods')->where('id', $id)->delete();
//2、删除es
$client = ClientBuilder::create()->setHosts(['192.168.1.128:9200'])->build();
$client->delete(['index' => 'goods', 'id' => $id]);
return json(['status' => 'success']);
}
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po