注意: 复制出来的仪表盘, 数据集是与原仪表盘公用的
如果您从大数据开始，通常会被众多工具，框架和选项所困扰。 在本文中，我将尝试总结其成分和基本配方，以帮助您开始大数据之旅。 我的目标是对不同的工具进行分类，并试图解释每个工具的目的以及它如何适应生态系统。
首先，让我们回顾一些注意事项，并检查您是否确实遇到大数据问题。 我将重点介绍可以在本地部署的开源解决方案。 云提供商为您的数据需求提供了几种解决方案，我将略微提及它们。 如果您在云中运行，则应真正检查可用的选项，并与开源解决方案进行比较，以了解成本，可操作性，可管理性，监控和上市时间。
> Big Data Ecosystem(仅供参考,不是最新的!!
在sqoop的安装目录下执行以下命令：
bin/sqoop import \
--connect jdbc:mysql://xxxx:3306/sqoop_test \
--username root \
--password 061111 \
--table staff \
--target-dir /user/sqoop \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
–connect：表示连接的数
只需要围绕option进行定制设定。echarts 的使用者，使用 option 来描述其对图表的各种需求，包括：有什么数据、要画什么图表、图表长什么样子、含有什么组件、组件能操作什么事情等等。简而言之，option 表述了：数据、数据如何映射成图形、交互行为。
一个网页中可以创建多个 echarts 实例。每个 echarts 实例 中可以创建多个图表和坐标系等等（用 option 来描述）。准备一个 DOM 节点（作为 echarts 的渲染容器），就可以在上面创建
免费版使用者必须保留SmartChart相关版权标识及LOGO，禁止对其进行修改和删除 如果违反，将保留对侵权者追究责任的权利
kettle的数据同步, 你会用到ktr和kjb
这样"执行SQL脚本" 会被执行很多次,
但kjb不一样, kjb会等待一个组件完成再执行另外一个, 所以很多人 会使用kjb 嵌入 ktr的解决方案来做数据抽取后执行脚本
但是如果已经有了任务的调度平台, 再用kjb 来 嵌套 ktr 的解决方案 就会显得臃肿, 所以可以考虑直接在ktr完成
在需要阻塞的地方加入 "阻塞数据" 的组件, 将"Pass all rows
ds变量名是最终的数据集, 你需要产出它即可
#读取数据集
ds_df(id,para_dict=None,cachestr=None,columns=None)
df=ds_df(359) #获取ID为359这个数据集的数据并转化为pandas的dataframe(df)
df=mysmart.pddf(359,columns=['C1','C2','D1']) #可指定标题名称
#读取excel
import pandas as pd
df =参考: 饼图自动播放
设定方法:
如果不改动图形, 可以在"仪表盘" --> 高级设定中 进行
//动态播放
"animate":{"2":{"dataLen":5,"interval":1000,"showtip":1}},以上方法最简单,但有一个弊端, 需要指定dataLen, 有时可能dataLen不固定,这样你可以采用在图形设定的最后加上一段即可:
//基于数据项动态设定
startSelectAnimate(myChart__name__,legend_label.length,1000,1);真实场景举例： ⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。 由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤，会造成队列阻塞，影响其他数仓任务，会引起数据开发的不满。数据开发会要求收回分析师的原始数据读取权限，分析师⼜会抱怨数仓数据不完善，要啥没啥，⼀个需求经常要等⼀周甚⾄半个⽉。分
【主菜】
正所谓“巧妇难为无米之炊”，做饭首先得有食材，大数据也一样，没有数据说什么都是扯淡，所以数据就是数据人的食材（只要有数据，我不用吃饭）。
做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工