B站日志系統 日志系統

B站日志系統

B站的日志系統(Billions)從2017年5月份開始建設,基于elastic stack,面向全站提供統一的日志采集、檢索、監控服務。目前集群規模20臺機器,接入業務200+,單日日志量10T+。...
閱讀全文
ELK logstash 處理MySQL慢查詢日志(26th) ELK

ELK logstash 處理MySQL慢查詢日志(26th)

在生產環境下,logstash 經?;嵊齙醬磯嘀指袷降娜罩?,不同的日志格式,解析方法不同。下面來說說logstash處理多行日志的例子,對MySQL慢查詢日志進行分析,這個經常遇到過,網絡上疑問也很...
閱讀全文
ELK logstash 處理多行事件(25th) ELK

ELK logstash 處理多行事件(25th)

有些日志是分多行輸出的,為了能正確的處理這些多行的事件,logstash必須哪些行是單一事件的一部分。多行事件處理是比較復雜的,需依賴正確的事件順序。最佳方法是盡早的在管道中處理以保證日志有序。這就是...
閱讀全文
ELK logstash 結構(22nd) ELK

ELK logstash 結構(22nd)

在命令行中指定-e參數,從標準輸入到標準輸出,并格式化結果。 logstash會給事件添加一些額外的信息,如@timestamp,標注事件發生的時間。host標注事件發生的主機。此外,還可能有下面幾個...
閱讀全文
ELK topbeat 部署指南(14th) ELK

ELK topbeat 部署指南(14th)

topbeat定期收集系統信息如每個進程信息、負載、內存、磁盤等等,然后將數據發送到elasticsearch進行索引。 topbeat收集的指標有: 系統統計信息 系統負載: 最后1分鐘、最后5...
閱讀全文