HIVE 使用指南

by Web全栈工程师 on 2017 年 04 月 06 日

HIVE 介绍

  • hive是什么?
    • hive是一个基于hadoop的数据仓库系统,提供一种机制把数据映射为结构化的table;
    • hive内含一种类SQL的Hive Query Language(HQL)语言,能够用简单的query做复杂的数据查询;
  • hive应用场景是什么?
    • 非实时的海量数据分析/挖掘/建模

HIVE VS Hadoop MapReduce Program

  • 优势
    • 内置丰富的通用操作算子和计算函数,能大幅降低开发成本,同时提高逻辑正确性;
    • 丰富数据模型可以简化数据组织、管理和访问的复杂度;
    • 类SQL描述的数据处理流程为“所思即所见,所见即所得”,便于理解和维护;
  • 劣势
    • 数据操作不灵活,对于一些情况,一轮hadoop计算被迫要分成多个任务来完成;
    • 复杂数学计算实现困难,不直观 && 性能差;
    • 不适合访问外部数据,如dict和外部server;
  • 个人总结
    • hive适用于业务逻辑非常复杂的场合。
    • 实现同样逻辑,hive程序的代码行数基本上是hadoop原生程序的1/10左右。

[click to continue…]

{ Comments on this entry are closed }

Docker 可视化管理平台

by Web全栈工程师 on 2017 年 03 月 10 日

UI For Docker

项目地址:https://github.com/kevana/ui-for-docker
安装dockerui:

# install dockerui, user: open your browser to http://:9000
docker run -d -p 9000:9000 --privileged -v /var/run/docker.sock:/var/run/docker.sock uifd/ui-for-docker
docker start epic_torvalds

Shipyard

项目地址:https://www.shipyard-project.com/
https://github.com/shipyard/shipyard

Rancher

项目地址:https://github.com/rancher/rancher

{ Comments on this entry are closed }

TensorFlow 资源整理

三月 1, 2017

jtoy 发起整理的 TensorFlow 资源,包含一些很棒的 TensorFlow 工程、库、项目等。 什 […]

Read the full article →

Vagrant 虚拟机 安装openwrt x86

二月 19, 2017

一、配置Vagrantfile Vagrantfile 配置内容如下: Vagrant.configure(” […]

Read the full article →

Centos 6 自动备份到 Google Drive

一月 1, 2017

gdrive是一个非官方,开源的Google Drive的命令行管理工具,可以直接在Linux上登录Googl […]

Read the full article →

python虚拟环境virualenv

十二月 17, 2016

virtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行 […]

Read the full article →

离线下载youtube视频

十二月 4, 2016

项目地址 https://github.com/rg3/youtube-dl 安装 通过pip安装 pip i […]

Read the full article →

rsync使用非默认ssh端口登录的方法

十一月 6, 2016

rsync有两种常用的认证方式,一种为rsync-daemon方式,另外一种则是ssh。 在一些场合,使用rs […]

Read the full article →

设置macOS 10.12 Sierra 安全性与隐私的设置中任何来源选项

十月 22, 2016

更新了macOS 10.12 Sierra后,在系统偏好设置 -> 安全性与隐私 中找不到“任何来源” […]

Read the full article →

windows安装openssl组件

十月 17, 2016

一,下载已经编译的openssl https://code.google.com/p/openssl-for- […]

Read the full article →