大資料採集工具有哪些

常用的大資料採集工具Apache Flume、Fluentd、Logstash、Chukwa、Splunk Forwarder、八爪魚等。

1、Flume 是Apache旗下的一款開源、高可靠、高擴充套件、容易管理、支援客戶擴充套件的資料採集系統。

2、Fluentd是另一個開源的資料收集框架。Fluentd使用C/Ruby開發，使用JSON檔案來統一日誌資料。

3、Logstash是著名的開源資料棧ELK (ElasticSearch, Logstash, Kibana)中的那個L。

4、Logstash用JRuby開發，所有執行時依賴JVM。

5、Apache Chukwa是apache旗下另一個開源的資料收集平臺，它遠沒有其他幾個有名，Chukwa基於Hadoop的HDFS和Map Reduce來構建(顯而易見，它用Java來實現)，提供擴充套件性和可靠性。

6、在商業化的大資料平臺產品中，Splunk提供完整的資料採金，資料儲存，資料分析和處理，以及資料展現的能力。

7、八爪魚是一款免費的、視覺化免程式設計的網頁採集軟體，可以從不同網站中快速提取規範化資料。

以上就是關於大資料採集工具的分享，希望對大家有幫助。