机器学习平台搭建

基础环境搭建和使用

需要配置安装的基础环境

1、ubuntu16.04和python3

2、anaconda

ssh进入服务器会默认进入conda的base环境, 可以使用conda deactivate推出环境.

激活demo环境

# 激活名称为ml的虚拟环境
conda activate ml

新建环境

# 新建名为venv_name的conda虚拟环境, 详细参数使用可百度
conda create [venv_name]

3、virtualenv
激活virtualenv环境

# 首先推出conda的环境
conda deactivate
# 激活virtualenv
actiavate /home/gpyz/venv/xgb/bin/activate

新建virtualenv环境

# 新建名为venv_name的virtualenv环境, 详细使用可百度
virtualenv /home/gpyz/venv/[venv_name]

Nvidia套件安装

Ubuntu16.04下安装安装CUDA、cuDNN和tensotflow-gpu流程和问题总结

Xgboost GPU部署

XGBoost GPU安装Tutorial

Nvidia Docker部署

Nvidia-Docker安装Tutorial

Docker基础镜像

基础镜像地址

版本说明:
- latest: alphamind, xgboost, tensorlfow
- 0.1: latest基础上配置了jupyterhub
- 0.09: latest基础上配置了flask

docker部署的优点

1、各用户的工作环境隔绝, Docker内的活动不会破坏其他用户或者主机环境;

2、避免重复安装工作环境, 可在基础Docker镜像的基础上扩展;

3、主机的资源扩展和软件更新对Docker用户工作环境的影响比较小;

4、后期对服务器资源(CPU, GPU)管理方便.

单docker多用户

用户数据保存在docker内, 因为不同的用户使用的是系统新建用户, 动态创建用户不太好做目录映射

多单docker单用户

需要docker管理工具, 加大了运维需求.