常见数据采集方式

常见数据采集方式

数据仓库数据采集

• 离线数据采集

  • Sqoop：在关系型数据皆和HDFS或NoSQL中导入

  • DataX：提供界面方式做数据导入

  • Kettle：提供界面化的方式做数据导入

• 实时数据采集

  • Flume实时采集日志数据，通过kafka和结构化流或Flinl进行处理

  • MySQL实时采集Binlog日志数据，需要使用cannal方式

  • Orache实时采集使用ogg方式采集

  • 但是目前Flink出了一个FinkCDC(集中市场所有的数据库提供connector)

filebeats  logstash

欢迎来撩 ： 汇总all