在亚马逊Elasticsearch服务上建立索引--大批量插入
我有一个活跃的Amazon Elasticsearch实例,我能够通过Chrome的" Sense"连接和执行语句.但是,当我尝试进行批量插入时,它会显示"超时"错误.我一直在尝试python(散装助手)和logstash模块,两种方式都会遇到相同的错误. 以下是使用的代码 import psycopg2 from elasticsearch import Elasticsearch, helpers import time connection = psycopg2.connect(database='dbname', user='username', password='password', host='abc.def.com', port=5432) es = Elasticsearch('elasticsearchinstance.amazonaws.com', max_retries=3, retry_on_timeout=True, request_timeou
0 2024-01-26
编程技术问答社区
将CloudTrail日志导入Logstash中
我试图将日志从clouldtrail获取到elasticsearch,以便我们可以更好地看到AWS帐户中发生的事情. 我在计算机上同时设置了LogStash和Elasticsearch(Ubuntu 14.04),并且可以将文本从stdin推到Elasticsearch.但是,当我尝试使用S3输入时,Elasticsearch没有任何添加. 这是IM使用的Conf File,我删除了我的Amazon键 input { s3 { bucket => 'ko-cloudtrail-log-bucket' secret_access_key => '' access_key_id => '' delete => false interval => '60' region => 'eu-west-1' type => 'CloudTrail' codec => cloudtrail {} } } ou
6 2024-01-26
编程技术问答社区
Logstash输出到AWS EC2上的Elasticsearch
我在配置LogStash以输出到AWS EC2上的Elasticsearch群集很难. 我正在使用Logstash版本1.1.5和Elasticsearch 1.19.8. 这是我在logstash中的输出配置: output { stdout { debug => true debug_format => "json"} elasticsearch { cluster => "logstash-searcher" node_name => "logstash-indexer" } } 这是elasticsearch.yml 中的相应配置 cluster.name: logstash-searcher path.data: /usr/local/elasticsearch/data path.work: /usr/local/elasticsearch/tmp path.logs: /usr/local/elasticsearch/l
2 2024-01-26
编程技术问答社区
在logstash中从AWS S3输入路径中提取字段
是否可以基于存储桶路径添加字段/标签?我试图使用grok,但它不起作用. 解决方案 使用Logstash 6.0.1,您将能够从S3中获取每个文件的键(或路径). 示例: input { s3 { bucket => "" prefix => "" } } filter { mutate { add_field => { "file" => "%{[@metadata][s3][key]}" } } ... } 参考: 此答案
2 2024-01-25
编程技术问答社区
Logstash:如何在使用s3时使用过滤器来匹配文件名
我是Logstash的新手.我有一些日志存储在AWS S3中,并且可以将它们导入到LogStash中.我的问题是:是否可以使用Grok过滤器根据文件名添加标签?我尝试使用: grok { match => {"path" => "%{GREEDYDATA}/%{GREEDYDATA:bitcoin}.err.log"} add_tag => ["bitcoin_err"] } 这不起作用.我想原因是"路径"仅与文件输入一起工作. 这是我的S3存储桶的结构: my_buckets ----A ----2014-07-02 ----a.log ----b.log ----B ----2014-07-02 ----a.log ----b.log 我正在使用此输入conf: s3 { bu
4 2024-01-25
编程技术问答社区
Logstash Elasticsearch 输入-只运行一次?
我正在尝试将一小部分数据从索引A复制到索引B中. i具有logstash配置在EC2实例上运行,其中具有Elasticsearch输入,一些过滤器和Elasticsearch输出. 我第一次运行它可以正常工作,但是如果将任何新数据添加到索引A(满足输入的查询条件),Logstash配置未检测到它并将其输出到索引B. 这让我想,Elasticsearch输入只运行一次?与将添加新文件的文件或S3输入等输入不同. 解决方案 LogStash elasticsearch输入插件可以使用可选查询进行单个搜索(通过扫描/滚动),并且完成后就退出了. 您是正确的,因为它的行为与file输入插件的行为方式不一样,该插件只会尾部或多个文件并即时处理新行. 您可能想调查
0 2024-01-24
编程技术问答社区
从Dynamodb向Amazon Elasticsearch发送数据的最佳方式
我想知道哪种是将数据从DynamoDB发送到Elasticsearch的最佳方法. AWS SDK JS. dynamodb logstash插件: 解决方案 遵循此AWS博客.他们详细描述了它是如何做到的. 编辑 我假设您使用AWS Elasticsearch托管服务. 您应该使用DynamoDB流来收听更改(其中包括,您将在DynamoDB中添加了新项目的事件). 创建新的Kinesis Firehose流,该流将所有记录输出到您的Elasticsearch实例. 创建一个新的lambda,该lambda是由dynamodb流中新项目的事件触发的. lambda将获得唯一的dynamodb记录ID,以便您获取它,获取记录有效载荷并将其摄取到firehose流端点. 根据您的DynamoDB记录大小,您可以启用该选项将记录的有效载荷包括在流项目中,因此您无需从表中获取它并使用设置的配置能力. 其他解决方案 我建议在DynamoDB上创建AW
0 2024-01-24
编程技术问答社区
如何用logstash在两个索引上创建一个别名?
在我正在处理的集群中,有两个主要索引,例如indexA和indexB,但是这两个索引每天都索引,所以我有indexA-{+YYYY.MM.dd}和indexB-{+YYYY.MM.dd}. . 我想要的是让一个别名聚集indexA-{+YYYY.MM.dd}和indexB-{+YYYY.MM.dd}并命名alias-{+YYYY.MM.dd}. 有人知道如何使用logstash收集两个别名? 预先感谢您 据我所知, 解决方案 无法直接使用LogStash进行操作.您可以使用Elasticsearch API从外部程序进行操作:例如: curl -XPOST 'http://localhost:9200/_aliases' -d ' { "actions" : [ { "add" : { "index" : "indexA-2015.01.01", "alias" : "alias-2015.01.01" } }, { "
2 2024-01-23
编程技术问答社区
升级Airflow版本后,远程日志记录无法工作
我们正在使用kubernetes执行者使用气流v2.1.4. 我们的K8S群集PODS STDOUT会自动通过FileBeat-> Logstash-> Elasticsearch(Elk). 在logstash中,我们正在创建log_id字段: mutate { copy => { "[log][offset]" => "offset" } # change format from "2020-04-13T17_50_00_plus_00_00" to "2020-04-13T17:50:00+00:00" gsub => [ "[kubernetes][labels][execution_date]", "_plus_", "+" ] gsub => [ "[kubernetes][labels][execution_date]", "_", ":" ] add_field => [ "log_id", "%{[kubern
2 2024-01-20
编程技术问答社区
logstash与activeMQ/stomp
全部. 我正在使用logstash-1.4.2消费我的ActiveMQ中存储的消息(带有Stomp Plubgin). 在我的acitvemq.xml配置文件中,我有一行: 当我运行logstash时,我有一个错误: C:\logstash\logstash-1.4.2\bin>logstash agent -f logstashconfig.conf +---------------------------------------------------------+ | An unexpected error occurred. This is probably a bug. | | You can fin
6 2024-01-10
编程技术问答社区
Logstash XML解析失败
我在Deviantony/Docker-Elk Image上运行最新的Elk Stack 6.6.我有以下XML文件,试图将其解析到ES JSON对象中: 7290027600007 001 001 9 8.0.1.3 我的conf文件是: input { file { path => "/usr/share/logstash/logs/example1.xml" type => "xml" start_position => "beginning" sincedb_path =>
4 2023-12-22
编程技术问答社区
Logstash。从数组到字符串的XML到JSON输出
我正在尝试使用LogStash将XML转换为Elasticsearch的JSON.我能够将读取的值并发送到Elasticsearch.问题是所有值以数组的形式出现.我想让它们像弦一样出来.我知道我可以单独为每个字段做一个replace,但是后来我遇到了一个问题,嵌套字段深3级. xml Location Id User Id
2 2023-12-21
编程技术问答社区
如何在Logstash中解析多行XML?
我在我的S3存储桶中有多行XML文件(〜800行),我想在Elasticsearch中索引它们,但我无法在Logstash中解析它们.字段有时是空的,因此不可能手动解析文件. 我的XML看起来像: 0 50.00` ... 在我的输入中,我有配置: codec => multiline { pattern => " next } 在我的过滤器中,以下配置: multiline { pattern => ["\t\t"] what => next } 解决方案 好的,所以看起来问题是,您对多行解码器和XML过滤器感到困惑. 我可以建议您设置多行:
2 2023-12-21
编程技术问答社区
作为Windows服务的Logstash-forwarder
我正在努力为Windows 2008 R2服务器上的LogStash转发器创建Windows服务. 我的设置看起来如下: Ubuntu Server 14.04 LTS Elasticsearch logstash 基巴纳 Windows Server 2008 R2: 应用程序记录到某个路径. 将船舶通过logstash-forwarder登录到麋鹿堆栈 目前,我目前通过LogStash throcker成功地将日志运送到Elk-stack,使用此处的指令编译了Windows ... https://github.com/elastic/logstash-forwarder .唯一的问题是,我必须在CLI窗口中运行LogStash throcker,并且无法将其设置为Windows服务. 我已经尝试了以下SC命令,可以创建服务,但是服务根本不会启动.只是返回以下错误:服务没有及时响应开始或控制请求. sc create Logsta
4 2023-12-08
编程技术问答社区
SearchPhaseExecutionException[执行阶段[查询]失败,所有分片失败]
最近,我们的服务器被重新启动,而无需正确关闭弹性搜索/基巴纳.重新启动后,两个应用程序都在运行,但没有创建索引.我在调试模式下检查了LogStash设置,并将数据发送到弹性搜索. 现在我所有创建的Windows报告了此错误: Oops! SearchPhaseExecutionException[Failed to execute phase [query], all shards failed] 我尝试重新启动弹性搜索/kibana,并清除了一些索引.我搜索了很多,但无法正确解决此问题. 当前的群集健康状态为红色,如图所示. 任何帮助如何解决的帮助.谢谢你 编辑: [2015-05-06 00:00:01,561][WARN ][cluster.action.shard ] [Indech] [logstash-2015.03.16][1] sending failed shard for [logstash-2015.03.16][1]
6 2023-12-08
编程技术问答社区
使用Windows服务器的集中式日志文件
我想拥有一个最终用户的Web界面,以便为他们提供仅使用接口从不同服务器监视日志文件的机会. 我找到了这个建议: http://logstash.net/docs/1.3.3/tutorials/getting-started-centralized 和实施过程的示例: http://michael.bouvy.net/blog/en/2013/11/19/collect-visualize-your-logs-logstash-elasticsearch-redis-kibana/ 通常,我知道Redis与Linux OS兼容.但是我的OSS是Windows Server 2008. 有可能使用此解决方案吗?任何例子对我都会有所帮助. 谢谢. 解决方案 那么到目前为止,redis不支持窗口操作系统. 但是,您可以尝试安装此非官方 redis 建议在redis页面上.
2 2023-12-08
编程技术问答社区
Logstash没有在弹性搜索中创建索引
它在控制台上没有显示任何错误.这是我正在运行的命令(在Windows 10上) - logstash --verbose -f logstash-sample.conf 这是我的logstash-sample.conf文件 - input { file { path => "C:\Users\17739\Documents\IIT\CSP586\tutorial\project\ChicagoSocialHub\backend-build-divvy-status\divvy_stations_status.csv" start_position => "beginning" } } filter { csv{ separator => "," columns => ["altitude", "availableBikes", "availableDocks", "city", "id", "is_renting",
6 2023-12-07
编程技术问答社区
Logstash缺少类名(`org.apache.http.─▒mpl.client.StandardHttpRequestRetryHandler')
我想使用logstash从Windows上的RabitMQ获取数据,但是当我使用偶数输入和输出启动LogStash时,我会缺少类名称org.apache.http.─Impl.client.StandardHttpRequestRetryHandler错误. 在CMD上我运行: C:\ELK_Stack\logstash\bin>logstash -e input {stdin {}}output {stdout {}} --debug 但我得到 [错误] 2018-10-28 23:29:38.504 [main] logstash-java.lang.illegalstateException:logstash witch top processing由于错误:( name name eRror)缺少class name(org.apache.http.-http.--- mpl.client.standardhttprequestretryhandler)
4 2023-12-07
编程技术问答社区
使用nxlog从Windows使用om_ssl向logstash运送日志
我一直在寻找从Windows运送日志的选项,我已经设置了LogStash,目前,我使用Logstash-Forwarder和SSL加密从Linux(CentOS)服务器运送到我的麋鹿堆栈. 出于合规原因,加密在这种环境中几乎至关重要. 我也希望在Windows中使用LogStash-Forwarder,但是在使用Go编译后,我跑进了发行的运输事件日志,我发现有人说由于文件锁定问题,这是不可能的, logstash-forwarder的人似乎正在努力,但我真的不能等待. 无论如何,最终我发现nxlog似乎能够使用SSL以加密格式运送日志,我发现很少 posts about 我在#NXlog和#logstash IRC频道中询问,并在#NXlog中获得了一些确认,没有更多有关如何配置它的信息. 无论如何,我已经使用了用于与我的logstash-forwarder一起使用的CRT文件(如果我很高兴能够正常工作,我会创建一个新的),并用PEM扩展名重命名为因为它以ASCI
12 2023-12-05
编程技术问答社区