ubuntu server superset大数据分析平台搭建 - 简书登录注册写文章首页下载APP会员IT技术ubuntu server superset大数据分析平台搭建fangqi179关注赞赏支持ubuntu server superset大数据分析平台搭建superset安装配置，大部分内容来自superset的官网；目前网上的文章都是比较早的，直接按照官网步骤即可，最近superset和flask更新后导致了不兼容的问题，安装过程中会报错，自己重新摸索了一下，记录下来，供有需要的人参考。
环境安装
系统依赖
sudo apt-get install build-essential libssl-dev libffi-dev python-dev python-pip libsasl2-dev libldap2-dev
ubuntu 16.04
sudo apt-get install build-essential libssl-dev libffi-dev python3.5-dev python-pip libsasl2-dev libldap2-dev
pip国内源配置
配置文件的位置
全局的位于 /etc/pip.conf
用户级别的位于 HOME/.pip/pip.conf 每个 virtualenv 也可以有自己的配置文件VIRTUAL_ENV/pip.conf
cd ~
mkdir ~/.pip
vi ~/.pip/pip.conf
配置文件的内容
[global]
trusted-host=mirrors.aliyun.com
index-url=http://mirrors.aliyun.com/pypi/simple
安装virtualenv
pip install virtualenv
创建&激活virtualenv
virtualenv superset
. ./superset/bin/activate
pip工具升级
pip install --upgrade setuptools pip
安装superset
安装superset
pip install superset==0.25.0
指定flask&sql版本号
pip uninstall Flask SQLAlchemy-Utils
pip install -U 'Flask~=0.12.2' 'SQLAlchemy-Utils~=0.0,<0.33'
创建管理员用户
fabmanager create-admin --app superset
初始化数据库
superset db upgrade
加载样例数据
superset load_examples
初始化默认角色和权限
superset init
获取mapbox api token
需要自己去mapbox官网注册申请public API key
创建superset_config.py配置文件
创建文件
vi ~/.superset/superset_config.py
superset_config.py
#---------------------------------------------------------
# Superset specific config
#---------------------------------------------------------
ROW_LIMIT = 5000
SUPERSET_WEBSERVER_PORT = 8088
#---------------------------------------------------------
#---------------------------------------------------------
# Flask App Builder configuration
#---------------------------------------------------------
# Your App secret key
SECRET_KEY = '\2\1thisismyscretkey\1\2\e\y\y\h'
# The SQLAlchemy connection string to your database backend
# This connection defines the path to the database that stores your
# superset metadata (slices, connections, tables, dashboards, ...).
# Note that the connection information to connect to the datasources
# you want to explore are managed directly in the web UI
SQLALCHEMY_DATABASE_URI = '修改为自己实际的superset.db路径'
# Flask-WTF flag for CSRF
WTF_CSRF_ENABLED = True
# Add endpoints that need to be exempt from CSRF protection
WTF_CSRF_EXEMPT_LIST = []
# A CSRF token that expires in 1 year
WTF_CSRF_TIME_LIMIT = 60 * 60 * 24 * 365
# Set this API key to enable Mapbox visualizations
MAPBOX_API_KEY = '修改为自己实际的API key'
配置PYTHONPATH
vi ~/.bashrc
添加如下一行
export PYTHONPATH=/home/fangqi/.superset/
source ~/.bashrc
运行superset服务
run server模式
Start the web server on port 8088, use -p to bind to another port
superset runserver
To start a development web server, use the -d switch
superset runserver -d
gunicorn模式
前台运行
gunicorn -w 2 --timeout 60 -b 0.0.0.0:8088 --limit-request-line 0 --limit-request-field_size 0 superset:app
后台运行
gunicorn -D -w 2 --timeout 60 -b 0.0.0.0:8088 --limit-request-line 0 --limit-request-field_size 0 superset:app
创建sh脚本
cd ~
vi superset.sh
. /home/fangqi/superset/bin/activate
/home/fangqi/superset.sh
sudo chmod +x superset.sh
关闭进程
查看gunicorn进程
pstree -ap|grep gunicorn
按pid终止单个进程
kill -9 PID
按进程名称终止进程
killall -9 gunicorn
mysql数据库连接配置
pip install pymysql
mysql+pymysql://账号:密码@host:3306/数据库名?charset=utf8
superset安装包位置
~/venv/lib/python2.7/site-packages/superset
运行信息
(superset) fangqi@ubuntu-server:~$ superset runserver
2018-05-12 14:54:03,775:INFO:root:The Gunicorn 'superset runserver' command is deprecated. Please use the 'gunicorn' command instead.
Starting server with command:
gunicorn -w 2 --timeout 60 -b 0.0.0.0:8088 --limit-request-line 0 --limit-request-field_size 0 superset:app
[2018-05-12 14:54:03 +0000] [2050] [INFO] Starting gunicorn 19.8.1
[2018-05-12 14:54:03 +0000] [2050] [INFO] Listening at: http://0.0.0.0:8088 (2050)
[2018-05-12 14:54:03 +0000] [2050] [INFO] Using worker: sync
[2018-05-12 14:54:03 +0000] [2054] [INFO] Booting worker with pid: 2054
[2018-05-12 14:54:04 +0000] [2055] [INFO] Booting worker with pid: 2055
推荐阅读更多精彩内容给大数据分析师的一双大礼: Apache Kylin和Superset作者：赵勇杰 何京珂 编辑：Sammi 分析师的挑战 在大数据时代，使用传统数据处理方式已经无法满足企业大规模数据...Kyligence阅读 4,464评论 0赞 26《Flask Web Development - 更新到第8章》19年6月更新：该篇翻译已经被移到 TangYefei's Blog，相较于简书阅读体验会更好，如果喜欢请点个 ❤...tangyefei阅读 34,735评论 22赞 258python高级进阶title: python高级进阶 参考文献 https://pythonguidecn.readthedocs....采香行处蹙连钱阅读 2,163评论 1赞 5CentOS搭建Flask、Gunicorn、Nginx服务器拥有一个服务器的好处：你知道，在你睡觉的时候，在你烦闷苦恼的时候，在你追剧堕落的时候，有一个它，还在远处默默等待着...Azen阅读 4,218评论 0赞 9Linux下部署Flask项目——Ubuntu+Flask+Gunicorn+Supervis...Ubuntu16.04+Anaconda2+nginx+gunicorn+flask+supervisor 概述：...莱昂纳多91阅读 2,223评论 1赞 7社交就是如此莫测 出去玩结果被耍了。给我人生上过最狠的一刻。再也没有所谓的好人了。就是这么现实。终究是太年轻，见过的东西太少了。后...50064d61017a阅读 135评论 0赞 1JR-史密斯有多狂？美媒：经常不参加训练，骑士队里没人管得住他骑士球员JR-史密斯在上一场对战森林狼的比赛中，上场25分钟7投0中； 在今天对战猛龙的比赛中，上场27分钟，5投...最精彩体育赛事阅读 205评论 0赞 0成为一个优秀的人有多重要努力让自己更优秀，这很重要，也很美好！ 前进的脚步永远也不会停滞，也许我谈“优秀”不够格，只是想把这种乐趣分享给大...好学长松哥阅读 474评论 0赞 2（5）rm 命令linux中删除文件和目录的命令：rm命令。rm是常用的命令，该命令的功能为删除一个目录中的一个或多个文件或目录，...架构飞毛腿阅读 279评论 0赞 0话说谷雨如何养生？俗话说：“谷雨寒死老鼠”，说的就是谷雨时节天气忽冷忽热，容易感冒，注意保暖。谷雨过后，气温逐渐升高，雨量开始增多，...医本正经的廖公子阅读 226评论 1赞 0评论0赞44赞5赞赞赏更多好文