KETTLE配置


配置你的kettle变量:

##### Windows:
C:\Users\你的用户名\.kettle\kettle.properties

##### Linux:
~/.kettle\kettle.properties

需要重启kettle才能生效  
之后就可以使用kettle的变量  

Kitchen——工作(job)执行器 (命令行方式)
Span——转换(trasform)执行器 (命令行方式)
这里我们重点讲一下 Kitchen.bat作业执行器 ,这个是经常要用到的。
它是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,它的参数说明如下:
    -rep     

Read more

SMARTCHART样列数据集


最近有小伙伴说如果不了解数据库, 或手上没有现成数据库连接, 那么是否可以玩转SmartChart, 今天他来了, 我们支持你自定义数据进行demo展示

STEP1: 进入 "数据集装箱" --> "图形格式设定"
STEP2: 选择一个你喜欢的图形, 点击进入编辑界面, 下方点击 "保存为新的"

STEP3: 你可以复制你EXCEL中数据(注意是统计好的数据,smartchart不会主动做统计), 粘贴到 数据样本区, 然后点击 "保存并继续编辑"

STEP4: 系统自动将数据转化成数组格式,你也可以直接输入这种数组格式, 格式请参考 数据集指南

之后你就可以在上方点击图标 预览

Read more

Dashboard中的权限控制


本不想做太复杂的权限这块内容,但最近多了很多查看用户, 趁着中秋的假期, 把这一块给完善下, 目前的权限管理,大概如下:

Dashboard的入口有两个, 一个是编辑入口(数据集装箱模块中), 一个是查看入口(应用中心中)

  • 全局编辑或查看权限 由平台用户组或用户权限配置, 如果用户需要查看报表, 需先分配到有查看权限的组中, 默认加入集团组可以具备查看权限
  • 在dashboard设定页面中可针对人员来分配 编辑权限, 有编辑权限同时也会满足查看权限
  • 在dashboard设定页面中可针对组来分配 查看权限
  • 未启用 的报表, 我们定义为开发中的, 当你不启用, 如果在定义图形中有自定义了样板数据,

Read more

数据上传设定指南


Smart Data 支持非常便捷的手工数据管理:

  • 无需开发ETL, 快速设定, 快速上传
  • 支持数据质量校验, 上传提示, 邮件通知, 上传模板管理
  • 权限管理, 数据预清洗, 支持自动增加时间戳和上传人字段
  • 可上传到任意数据源, 统一数据收集入口
  • 智能转码, 为你解决上传数据乱码的烦恼
  • 同时支持EXCEL和CSV上传
  • 支持下载历史数据,修改后上传

以上传大数据平台为例, 做基本流程介绍:

STEP1: 自动生成建表语句, 建意下载我们的开发工具 数据处理与开发工具 STEP2: 完成简单的配置即可

STEP3: 高级配置(此步骤为可选),填写我们上传完成后, 需要做的进一步处理, 此

Read more

SmartPip DAG设定方法


关于任务调度的配置方法:

自定义参数方法

-- 当前时间
report_time = datetime.datetime.now()
-- 当前时间,往后推一天, 也可以小时(hours), 分钟(minutes), 秒(seconds)...
report_time = datetime.datetime.now()- datetime.timedelta(days=1)
-- 获取上个月最后一天
report_time = datetime.datetime.now().replace(day=1) - datetime.timedelta(days=1)
-- 格式化字符串时间:(%Y-

Read more

SMARTCHART自定义图形


Smartchart提供很多通用的图形, 如果要个性化需要你进行自定义, 比如你可能需要在同一个图上展示柱形图和线性图, 那么今天我们就以这个为例, 以后大家可以借鉴 首先我们在ECHART官网可能找一个你喜观的图形, 如下简单柱形图链接:

打开我们可以看对应的option:

option = {
    xAxis: {
        type: 'category',
        data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat'

Read more

Kudu常用SQL操作


建表语句

CREATE TABLE my_first_table
(
  id BIGINT,
  name STRING,
  PRIMARY KEY(id)
)
PARTITION BY HASH PARTITIONS 16
STORED AS KUDU;

CREATE TABLE kudu_testdb.perf_test_t1
(
id string ENCODING PLAIN_ENCODING COMPRESSION SNAPPY,
int_value int,
bigint_value bigint, 
timestamp_value timestamp, 
bool_valu

Read more

Clouder Hue 二次开发指引


使用CM 安装的童鞋可能会很困惑, HUE源码安装到那里去了, 要怎么修改呢?

首先安装位置在: /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/

如果你要修改认证模块:

desktop/core/src/desktop/auth/views.py
266 -- add tokenlogin
desktop/core/src/desktop/urls.py
59 -- add url

修改页面模板

desktop/core/src/desktop/templates/common_header.mako
226  -- addlink

Read more

SMARTDATA数据处理工具


SMARTDATA数据处理工具

能解决什么与EXCEL相关的问题:

  • 当你需要对你的数据进行去空格,异常换行等可能影响数据质量的问题
  • 当你需要对你的数据进行校验是否有异常(上下文字段格式不一致, 重复数据)
  • 当你需要将复杂的表格(有透视表,图表,表格不规则,列转行)转化为标准表格
  • 需要给系统或人员分享数据(针对某个表格或区域导出,而不是提供整个EXCEL)
  • 需要对数据进行清洗,批量替换,合并,移除,计算..
  • 你需要将非常多表格中相同表名的数据进行合并
  • 你的表格中有非常多的数据,比如有一个字段是省, 你需要按省拆分出来数据分享
  • 你需要链接数据库进行数据查询,下载到当前EXCEL的任意区域

数据

Read more