ilogtail+clickhouse+clickvisual 方案

[kl7sn]

概述

• 包括 ilogtail clickhouse flusher 插件开发
• 描述数据写入 clickhouse 后的流转过程
• 以及 clickvisual 在该过程中发挥的作用

详情

1. 开发 clickhouse flusher，将日志数据写入 buffer 表中
2. 将 buffer 表绑定上 null 表
3. 创建物化视图，将 null 表中的数据转换到最后的数据表中

通过 clickvisual 可完成以上流程中涉及表的创建，并提供可视化界面进行日志数据检索分析

[XTUxiongda]

hello,我看到您有贡献flusher_clickhouse flusher插件，我正在尝试使用它，但是我在使用的过程中遇到了点问题。
`enable: true
inputs:

• Type: file_log
  LogPath: /logs/fofund-ipmc/
  FilePattern: "*.log"
  processors:
• Type: processor_json
  SourceKey: content
  KeepSource: false
  ExpandDepth: 1
  ExpandConnector: ""
  flushers:
• Type: flusher_stdout
  OnlyStdout: true
• Type: flusher_clickhouse
  Addresses:
  • 10.xxx.xxx.61:8123
    Authentication:
    PlainText:
    Database: default
    Table: demo`
    我按照官网的示例写好了配置文件，但是ilogtail的控制台一点日志都没有，半点反应都没有。我只能不断调整配置文件来验证我的配置是否生效，不断调整发现控制台输出是可以的，但是一加上clickhouse的输出这段，就又没反应了。
    因为一点点报错日志都没，我完全不知道我该如何进一步去排查我的使用方式上到底哪里出问题了。希望得到您的帮助

[XTUxiongda]

@kl7sn