替代ELK：ClickHouse+Kafka+FlieBeat才是最絕的

來(lái)源：juejin.cn/post/7120880190003085320

背景

Elasticsearch 與 ClickHouse

成本分析

環(huán)境部署

總結(jié)

背景

saas業(yè)務(wù)業(yè)務(wù)未來(lái)需要業(yè)務(wù)管理、業(yè)務(wù)管理等業(yè)務(wù)能力。

為了平臺(tái)系統(tǒng)能力、我們需要完善數(shù)據(jù)集來(lái)幫助運(yùn)營(yíng)分析活動(dòng)效果、提升運(yùn)營(yíng)能力。

如果在實(shí)際過(guò)程中直接部署系統(tǒng)，對(duì)于用戶來(lái)說(shuō)，將是一個(gè)巨大的數(shù)據(jù)比較能力的服務(wù)器。我們?cè)陂_(kāi)發(fā)中使用折中方案完善數(shù)據(jù)分析。

Elasticsearch 與 ClickHouse

ClickHouse是一款系統(tǒng)列式對(duì)數(shù)據(jù)庫(kù)管理的測(cè)試，我們使用ClickHouse進(jìn)行了以下優(yōu)勢(shì)：

①ClickHouse 輸入商品大

單服務(wù)器記錄寫(xiě)入量在 50MB 到 50MB/秒，記錄寫(xiě)入超過(guò) 60w 個(gè)數(shù)，是 ES 的 5 倍以上。

在 ES 中比較常見(jiàn)的寫(xiě) Rejected 導(dǎo)致數(shù)據(jù)丟失、寫(xiě)入延遲等問(wèn)題，在 ClickHouse 中不容易發(fā)生。

②查詢速度快

網(wǎng)頁(yè)緩存中的快速數(shù)據(jù)，在頁(yè)面緩存中的快速查詢單 2-30GB/查詢速度；沒(méi)有在的情況下，查詢查詢結(jié)果的查詢速度和數(shù)據(jù)查詢速度比 ES ClickHouse 5-30倍以上。

③點(diǎn)擊費(fèi)用比ES費(fèi)用多少

Click House 的 ES 高，同樣數(shù)據(jù)占用的計(jì)算機(jī)空間比 ES 的 1/0 使用 1/03 次，可以節(jié)省空間的同時(shí)，也能有效地減少碳 IO，這也是 Click 查詢效率更高的原因之一。

點(diǎn)擊使用House的內(nèi)存資源，可以比用CPU的資源。

成本分析

備注：在沒(méi)有任何折扣的情況下，基于阿里云分析。

環(huán)境部署

動(dòng)物園管理員聚集部署

yuminstalljava-1.8.0-openjdk-devel.x86_64
/etc/profile配置環(huán)境變量
更新系統(tǒng)時(shí)間
yuminstallntpdate
ntpdateasia.pool.ntp.org

mkdirzookeeper
mkdir./zookeeper/data
mkdir./zookeeper/logs

wget--no-check-certificatehttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
tar-zvxfapache-zookeeper-3.7.1-bin.tar.gz-C/usr/zookeeper

exportZOOKEEPER_HOME=/usr/zookeeper/apache-zookeeper-3.7.1-bin
exportPATH=$ZOOKEEPER_HOME/bin:$PATH

進(jìn)入ZooKeeper配置目錄
cd$ZOOKEEPER_HOME/conf

新建配置文件
vizoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/data
dataLogDir=/usr/zookeeper/logs
clientPort=2181
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

在每臺(tái)服務(wù)器上執(zhí)行，給zookeeper創(chuàng)建myid
echo"1">/usr/zookeeper/data/myid
echo"2">/usr/zookeeper/data/myid
echo"3">/usr/zookeeper/data/myid

進(jìn)入ZooKeeperbin目錄
cd$ZOOKEEPER_HOME/bin
shzkServer.shstart

卡夫卡基地部署

mkdir-p/usr/kafka
chmod777-R/usr/kafka
wget--no-check-certificatehttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.2.0/kafka_2.12-3.2.0.tgz
tar-zvxfkafka_2.12-3.2.0.tgz-C/usr/kafka


不同的brokerId設(shè)置不一樣，比如1,2,3
broker.id=1
listeners=PLAINTEXT://ip:9092
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dir=/usr/kafka/logs
num.partitions=5
num.recovery.threads.per.data.dir=3
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
zookeeper.connection.timeout.ms=30000
group.initial.rebalance.delay.ms=0

后臺(tái)常駐進(jìn)程啟動(dòng)kafka
nohup/usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-start.sh/usr/kafka/kafka_2.12-3.2.0/config/server.properties>/usr/kafka/logs/kafka.log>&1&

/usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-stop.sh

$KAFKA_HOME/bin/kafka-topics.sh--list--bootstrap-serverip:9092

$KAFKA_HOME/bin/kafka-console-consumer.sh--bootstrap-serverip:9092--topictest--from-beginning

$KAFKA_HOME/bin/kafka-topics.sh--create--bootstrap-serverip:9092--replication-factor2--partitions3--topicxxx_data

FileBeat 部署

sudorpm--importhttps://packages.elastic.co/GPG-KEY-elasticsearch

Createafilewitha.repoextension(forexample,elastic.repo)inyour/etc/yum.repos.d/directoryandaddthefollowinglines:
在/etc/yum.repos.d/目錄下創(chuàng)建elastic.repo

[elastic-8.x]
name=Elasticrepositoryfor8.xpackages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

yuminstallfilebeat
systemctlenablefilebeat
chkconfig--addfilebeat

FileBeat配置文件說(shuō)明，坑點(diǎn)1（需設(shè)置keys_under_root: true）。如果不設(shè)置kafka的消息字段如下：

文件目錄：/etc/filebeat/filebeat.yml

filebeat.inputs:
-type:log
enabled:true
paths:
-/root/logs/xxx/inner/*.log
json:
如果不設(shè)置該索性，所有的數(shù)據(jù)都存儲(chǔ)在message里面，這樣設(shè)置以后數(shù)據(jù)會(huì)平鋪。
keys_under_root:true
output.kafka:
hosts:["kafka1:9092","kafka2:9092","kafka3:9092"]
topic:'xxx_data_clickhouse'
partition.round_robin:
reachable_only:false
required_acks:1
compression:gzip
processors:
剔除filebeat無(wú)效的字段數(shù)據(jù)
-drop_fields:
fields:["input","agent","ecs","log","metadata","timestamp"]
ignore_missing:false

nohup./filebeat-e-c/etc/filebeat/filebeat.yml>/user/filebeat/filebeat.log&
輸出到filebeat.log文件中，方便排查

clickhouse 部署

檢查當(dāng)前CPU是否支持SSE4.2，如果不支持，需要通過(guò)源代碼編譯構(gòu)建
grep-qsse4_2/proc/cpuinfo&&echo"SSE4.2supported"||echo"SSE4.2notsupported"
返回"SSE4.2supported"表示支持，返回"SSE4.2notsupported"表示不支持

創(chuàng)建數(shù)據(jù)保存目錄，將它創(chuàng)建到大容量磁盤(pán)掛載的路徑
mkdir-p/data/clickhouse
修改/etc/hosts文件，添加clickhouse節(jié)點(diǎn)
舉例：
10.190.85.92bigdata-clickhouse-01
10.190.85.93bigdata-clickhouse-02

服務(wù)器性能參數(shù)設(shè)置：
cpu頻率調(diào)節(jié)，將CPU頻率固定工作在其支持的最高運(yùn)行頻率上，而不動(dòng)態(tài)調(diào)節(jié)，性能最好
echo'performance'|tee/sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

內(nèi)存調(diào)節(jié)，不要禁用overcommit
echo0|tee/proc/sys/vm/overcommit_memory

始終禁用透明大頁(yè)(transparent huge pages)。它會(huì)干擾內(nèi)存分配器，從而導(dǎo)致顯著的性能下降
echo'never'|tee/sys/kernel/mm/transparent_hugepage/enabled

首先，需要添加官方存儲(chǔ)庫(kù)：
yuminstallyum-utils
rpm--import
yum-config-manager--add-repo

查看clickhouse可安裝的版本：
yumlist|grepclickhouse
運(yùn)行安裝命令：
yum-yinstallclickhouse-serverclickhouse-client

修改/etc/clickhouse-server/config.xml配置文件，修改日志級(jí)別為information，默認(rèn)是trace
information
執(zhí)行日志所在目錄：

正常日志
/var/log/clickhouse-server/clickhouse-server.log
異常錯(cuò)誤日志
/var/log/clickhouse-server/clickhouse-server.err.log

查看安裝的clickhouse版本：
clickhouse-server--version
clickhouse-client--password

sudoclickhousestop
sudoclickhousetart
sudoclickhousestart

clickhouse 部署過(guò)程中遇到的一些問(wèn)題如下：

①點(diǎn)擊house創(chuàng)建kafka引擎表：

CREATETABLEdefault.kafka_clickhouse_inner_logONCLUSTERclickhouse_cluster(
log_uuidString,
date_partitionUInt32,
event_nameString,
activity_nameString,
activity_typeString,
activity_idUInt16
)ENGINE=KafkaSETTINGS
kafka_broker_list='kafka1:9092,kafka2:9092,kafka3:9092',
kafka_topic_list='data_clickhouse',
kafka_group_name='clickhouse_xxx',
kafka_format='JSONEachRow',
kafka_row_delimiter='
',
kafka_num_consumers=1;

1：clikhouse 客戶端問(wèn)題無(wú)法查詢 kafka 引擎

不允許直接選擇。要啟用使用設(shè)置 stream_like_engine_allow_direct_select.(QUERY_NOT_ALLOWED)（版本 22.5.2.53（官方構(gòu)建））

解決方案：

需要在clickhouseclient創(chuàng)建加上--stream_like_engine_allow_direct_select1

clickhouse-client--stream_like_engine_allow_direct_select1--passwordxxxxx

②點(diǎn)擊房屋創(chuàng)建本地節(jié)點(diǎn)表

2：無(wú)法開(kāi)啟本地表宏

代碼：62。DB::Exception：[10.74.244.57:9000] 上出現(xiàn)錯(cuò)誤：代碼：62.DB::Exception：在處理“/clickhouse/tables/default/”中的替換時(shí)，配置中沒(méi)有宏“碎片” bi_inner_log_local/{shard}' at '50' 或宏在這里不受支持。（SYNTAX_ERROR）（版本 22.5.2.53（官方版本））。(SYNTAX_ERROR) (版本 22.5.2.53 (正式版))

創(chuàng)建本地表（使用復(fù)制去重表引擎）
createtabledefault.bi_inner_log_localONCLUSTERclickhouse_cluster(
log_uuidString,
date_partitionUInt32,
event_nameString,
activity_nameString,
credits_bringInt16,
activity_typeString,
activity_idUInt16
)ENGINE=ReplicatedReplacingMergeTree('/clickhouse/tables/default/bi_inner_log_local/{shard}','{replica}')
PARTITIONBYdate_partition
ORDERBY(event_name,date_partition,log_uuid)
SETTINGSindex_granularity=8192;

解決方案：在不同的clickhouse節(jié)點(diǎn)上配置不同的分片，每個(gè)節(jié)點(diǎn)的分片名稱不能一致。

01
example01-01-1

3：clickhouse中節(jié)點(diǎn)數(shù)據(jù)已經(jīng)存在

代碼：253。DB::Exception：出現(xiàn)錯(cuò)誤：代碼：253。DB::Exception：副本/clickhouse/tables/default/bi_inner_log_local/01/replicas/example01-01-1 已存在。(REPLICA_IS_ALREADY_EXIST)（版本 22.5.2.53（官方版本））。（REPLICA_IS_ALREADY_EXIST）（版本 22.5.2.53（官方構(gòu)建））

解決方案：進(jìn)入zookeeper客戶端刪除相關(guān)節(jié)點(diǎn)，然后再重新創(chuàng)建ReplicatedReplaceingMergeTree表。這樣可以保障每一個(gè)clickhouse節(jié)點(diǎn)去消費(fèi)kafka分區(qū)的數(shù)據(jù)。

③點(diǎn)擊房屋創(chuàng)建聚會(huì)表

日志（根據(jù)日志_uuid 分發(fā)給數(shù)據(jù)，相同的日志_uuid 會(huì)發(fā)送到同一時(shí)間的數(shù)據(jù)分片上重發(fā)）：

CREATETABLEdefault.bi_inner_log_allONCLUSTERclickhouse_clusterASdefault.bi_inner_log_local
ENGINE=Distributed(clickhouse_cluster,default,bi_inner_log_local,xxHash32(log_uuid));

4：自動(dòng)查詢表無(wú)法查詢

代碼：516。DB::Exception：從 10.74.244.57:9000 接收。DB::Exception：默認(rèn)值：身份驗(yàn)證失敗：密碼不正確或沒(méi)有該名稱的用戶。(AUTHENTICATION_FAILED) (版本 22.5.2.53 (正式版))

解決方案：

 

 

 
 
true

ip1
9000
default
xxxx



true

ip2
9000
default
xxxx

④點(diǎn)擊房屋創(chuàng)建物化視圖

創(chuàng)建物化物，把查看 Kafka 消費(fèi)表消費(fèi)的同步 ClickHouse 表格數(shù)據(jù)表。

CREATEMATERIALIZEDVIEWdefault.view_bi_inner_logONCLUSTERclickhouse_clusterTOdefault.bi_inner_log_allAS
SELECT
log_uuid,
date_partition,
event_name,
activity_name,
credits_bring,
activity_type,
activity_id
FROMdefault.kafka_clickhouse_inner_log;

小結(jié)：不負(fù)有心人，解決完以上所有的問(wèn)題。數(shù)據(jù)流轉(zhuǎn)通了！這里所有組件都是功夫文檔比較新的版本，所以過(guò)程中問(wèn)題的解決基本都是官方或操作手冊(cè)一步一步的解決。

總結(jié)一句話：?jiǎn)栴}遇到去解決或--幫助去解決，慢慢的你的官方升華。

總結(jié)

整個(gè)部署的過(guò)程中有一個(gè)坑，特別是filebeat yml的參數(shù)設(shè)置和clickhouse的配置說(shuō)明。

很久沒(méi)有更新了，經(jīng)?？吹讲┛?5歲以后辦的問(wèn)題。說(shuō)實(shí)話我自己也不會(huì)好以后怎么辦，核心還是持續(xù)的&輸出。不斷的博客制造了自己的護(hù)城河，不管是技術(shù)專家、業(yè)務(wù)專家、架構(gòu)、管理等。

個(gè)人建議如果能經(jīng)常寫(xiě)代碼就奮戰(zhàn)一線，管理徹底與公司綁定。

如果所在行業(yè)的公司還是已經(jīng)選擇了整體的商業(yè)影響力，個(gè)人覺(jué)得可以?shī)^戰(zhàn)在一線，未來(lái)的工作?？剂扛嗟挠绊懥?、感覺(jué)、技術(shù)架構(gòu)?，F(xiàn)在的我 35，從容的面對(duì)一天。