大数据分析处理的工具

       大数据是一种能够快速获取各类数据中有效且有价值的信息的技术。现在在大数据领域有很多新技术易于操作。它们将是大数据收集、处理、存储和信息展示的最有效工具。

    1. 大数据接入

       大数据接入

   现有数据访问、实时数据访问、消息记录数据访问、文件、文本、图片、视频等数据访问.

      大数据接入技术

   Kafka，ActiveMQ，ZeroMQ，Flume，Sqoop，Socket（Mina，Netty），ftp/sftp

   2. 大数据存储

     大数据存储

   结构化数据存储、半结构化数据存储、非结构化数据存储

    大数据存储技术

   HDFS, HBASE, Hive, S3, Kuduu, MongoDB, Neo 41, Redis, Alluxo (Tachyan), Solr, ElasticSearch

   3. 数据分析挖掘

     大数据分析与挖掘

    离线分析、实时分析、准实时分析、图像识别、语音识别、机器学习等

    大数据分和挖掘技术

    Map reasoning, hive, pig, spark, Flink,Impala,Kylin,tez,Akka,Storm,S4, etc.。

    数据分析需要多种数据库客户端工具的组合，如P/L SQL query analyzer Navicat shell和其他客户端工具。例如，如果使用基于Web的treesoft数据库管理系统，可以很方便地同时连接mysql Oracle、BD2、SQL server、mongodb、hive和SAP haha。使用基于web的工具的优点是：省时、方便、一次性部署，

   4. 大数据共享交换

    大数据共享交换

    数据访问、数据清理、转换、解密、数据资产管理、数据导出

   数据存取后，通常存储在数据库中，便于数据分析、清洗、转换、脱敏等处理。这些操作与数据可视化客户端工具密不可分。大量大数据需要分批、分任务、分时段处理。Treesoft数据库管理系统提供数据定时任务、管理、数据交换同步任务管理、统一任务管理、执行进度显示、处理日志和视图等功能，

   大数据共享交换技术

   Kafka,ActiveMQ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp,Rest Ful,

   Web Service

   5.大数据的展现

   大数据的展现

    图形显示（柱状图、地图、饼图、雷达图、散点图、折线图、K线图、箱线图、热图、关系图、矩形树形图、漏斗图、仪表板、平行坐标）；

    大数据展现技术

    Echarts， Tabeau，TreeSoft数据库管理系统把SQL查询结果直接以图展示，快速展现分析结果