Achelous简介

Achelous是什么?

Achelous是一个分布式的融合计算系统,为生命科学,地理空间,科学计算,人工智能等行业用户提供端到端的计算服务支撑。它囊括了数据、算力、算法、流程等核心要素,是集存(存储)、管(数据管理)、算(计算)和察(数据分析及可视化)于一体的整体解决方案。Achelous是数据系统公司极道科技2016年发起的项目,并且经过5年多的设计开发已经在全球各地数据中心大规模部署实施,服务于海量的基因数据,空间数据的分析、处理、加工和学习。同时Achelous也为人工智能企业级应用提供了高效的训练和推断平台。

Achelous为用户提供了分布式计算系统,作业调度功能,WDL语言和数据流执行引擎等功能。Achelous在最大程度上契合不同用户的使用习惯和不同的数据分析处理的应用场景。

Achelous的功能 >> Cloud服务 + WDL语法引擎(例如:Cromwell)+ 任务调度引擎(例如:SGE、Slurm)

与其他系统集成的解决方案(例如:SGE+云平台+Cromwell简单拼凑)相比,Achelous是基于最新的分布式计算理念和技术的全新实现,Achelous有自带的统一资源管理器,多模式作业调度系统,WDL/BSL语法引擎和数据流执行引擎。Achelous还具备很多高级特性,在不改变用户使用习惯的前提下,提升数据计算的便捷性和计算效能。

Achelous的核心组件包括,统一资源管理器,作业调度器和数据流执行引擎Bioflow,既可以兼容传统的进程,也可以基于容器技术(Docker和Singularity)构建大规模的分布式数据计算平台。Achelous提供完全开放的平台,支持用户通过流程编排语言WDL、BSL(一种极道自主定义的数据流描述语言)甚至可视化拖拽的方式定义数据分析流程(Pipeline),分析海量数据。

Achelous操作简易快捷,容易上手,用户无需硬件知识即可以轻松使用GPU,FPGA等专业硬件;无需编程基础即可写出完美并行并且健壮的数据分析流程;无需学习各种计算框架即可组合批量计算(Batch Computing),高性能计算算法实现(MPICH,OpenMPI)和人工智能(Machine Learning/Deep Learning)等多种模式实现的工具(GATK,GATK4-Spark,DeepVariant, MPI-Blast等)到自己的分析流程中,全面提升行业(例如:生物信息)数据分析的效率。

Achelous为企业用户提供了什么?

Achelous 既可以部署到企业的私有数据中心,也可以部署到公有云(阿里云、腾讯云等),提供弹性计算能力。与传统分析平台类似,Achelous 平台设定了登陆节点。系统管理员和普通用户通过登陆界点管理集群和投递计算任务。

Achelous部署架构

Achelous部署架构

上图展示了Achelous平台的核心服务:

  1. Achelous:分布式调度器和执行引擎,支持超大规模科学计算和生信分析。其中Bioflow是生信流程调度器及执行引擎,负责执行WDL或者BSL编写的流程。Achelous具备高可用性,可动态负载平衡。
  2. Poros:企业级的智能运维系统,帮助用户轻松管理计算集群及任务。
  3. 配置集群:提供用户和管理员对集群环境的配置功能。并能确保高可用。
  4. 分布式镜像仓库:为用户提供分布式容器镜像仓库,确保高并发性和高可用性。

用户工具说明

Achelous为普通用户和系统管理员提供了方便的命令行工具:

  1. biocli:面向普通用户的流程和作业管理工具,可用来管理WDL(或BSL)流程,提交和管理作业,完成流程化的生物信息分析。
  2. qsub、qconf、qstat和qdel:面向普通用户的单个任务管理工具,可以用来执行一个简单的命令行,兼容传统用户的使用习惯。
  3. bioadm:面向管理员的Achelous集群配置和管理工具
  4. porosadm:面向管理员和普通用户的集群运维工具
  5. biostack: 极道科技开发的可视化生信分析平台,可以鼠标拖拽的方式完成生信流程编排和分析。
  6. partisaner : 分布式计算框架调度工具。支持MPI、Tensorflow、PyTorch 等多种分布式计算框架的调度功能。
  7. imgcli: 用户镜像管理工具。为非管理员用户提供镜像管理功能。

Achelous为社区(非付费)用户提供了什么?

对于在校学生或者生物信息从业者,极道科技提供了一系列丰富的资源,帮助他们快速入门,在个人小资源环境下进行生物信息分析。这些包括:

提供用户免费下载和使用常用的生物信息分析容器镜像。通用用户名:guest 密码:helloXtao123
用户可以使用该工具完成单机WDL流程分析。
Powered by XTAO TechnologyLast Modified On:2021 2021-06-21 02:39:59

results matching ""

    No results matching ""