DockOne微信分享(九十八):Insta360容器化&DevOps之路

  • 时间:
  • 浏览:0

  • Aliyun 镜像服务,自动构建,用于正式环境的镜像发布
  • CircleCi,自动构建与测试,用于GitHub项目的自动构建
  • DroneCI,用于内部人员构建,主要用于内网的自动构建与测试
构建成功后使用Webhooks推送到BearyChat通知Web组成员:

SSH/Fabric是我最初尝试的方案,怎么让时需进行某些列的开发,基本在实验阶段就被放弃;Ansible难能可贵强大,怎么让也依然不利用上述挑战的解决,主要疑问图片如下:

  1. 配置繁琐
  2. 扩展性差(相对而言)
  3. 可靠性差(使用SSH法子,受网络影响大)
而Docker也要是 在此时成为可选方案之一,其优势难能可贵:
  1. 灵活,将应用于系统容器化,不时需额外依赖
  2. 便捷,任意Linux发行版配置Docker Engine即可启动
  3. 开源&免费,开源/免费低成本,Linux内核驱动
  4. 轻量,仅需添加或减小镜像即可,在一台服务器上不能否布署多个容器
  5. 环境一致性,镜像四种 即包含运行环境,解决肯能环境不一致带来的各种异常与风险

架构/容器化

第一代架构

  • SSH
  • Fabric/Ansible

以上内容根据2016年12月6日晚微信群分享内容架构设计 。分享人苏依(杨贺强),高级前端工程师兼Web组技术负责人,专职前端技术选型与架构设计 。就职于Insta330(全球330°全景相机(VR相机)全景领跑品牌,深圳岚锋创视网络科技有限公司)DockOne每周时需组织定向的技术分享,欢迎感兴趣的同学加微信:liyingjiesz,进群参与,您有想听话语题肯能想分享话语题都不能否给我们都都 留言。

测试组成员收到提示后,与开发确认测试要点后,可登录内部人员测试平台(使用Rancher搭建),选折 对应的应用测试,并反馈结果给产品&项目经理,通过则验收完成。

  1. Aliyun RDS (事先业务量增加不能否否考虑过渡到DRDS)
  2. Aliyun Mongodb
任务队列/消息队列
  • RabbitMQ
  • ZooKeeper 集群
  • Kafka(目前单机,存储使用ossfs)

  • Dockerfile
  • src放置项目代码
  • root存放Docker配置信息,覆盖容器内部人员系统配置
代码提交
  • 分支/Branch

    • dev 开发分支,构建开发镜像(本地构建测试)
    • test 测试分支,用于构建线上测试镜像
    • master 主分支,构建latest镜像
  • 版本/tag 

    • 规则:release-v{version}.{month}.{date}.{order}
    • 示例:release-v5.12.05.02

数据中心
该主次的数据为数据库存储的数据:

Hook接口解决会返回:

  • 时间
  • 名称
  • 版本
  • 命名空间
  • 镜像全名

测试

Hook服务收到信息后,根据tag判断应该发送到BearyChat的何种分组:

  • OSS 使用Aliyun OSS存储服务,存储媒体资源如视频与图片
  • Volume,使用阿里云ossfs搭建的Docker Volume,存放持久化数据
图像解决
视频解决目前使用了阿里云MTS转码服务做普通视频视频转码,一并,肯能行业特殊性,时需对全景视频和图像进行某些列解决,由Python + Celery + C配置的worker解决,该主次内容由香港数据中心的RabbitMQ进行统一管理,消息到达RabbitMQ后自动进行架构设计 ,由空闲的worker解决并通过MQ返回结果(事先全版时需尝试过HTTP法子进行返回,但肯能网络环境较为恶劣,肯能老出HTTP请求无法达到,自行解决错误逻辑较为麻烦,因而使用MQ,设置一定过期时间,肯能无法获取结果,则重新发送任务),当前架构的优化版本MQ肯能由Kafka代替。

原文标题:DockOne微信分享(九十八):Insta330容器化&DevOps之路

这里的版本参考了阿里云镜像服务的自动构建规则。

构建

构建服务目前我们都都 有总体包含三套:

本文作者:苏依

第三代架构仍占据 完善阶段,上图简单描述了我司另另一个 region服务于应用的分布:

  • 杭州/美西

    • 前端服务
    • 数据存储
    • 镜像仓库
    • 图像解决/视频转码 worker
    • 配置服务 redis slave

      • 服务IP地址
      • 服务域名信息
      • 服务配置信息
  • 香港

    • 数据中心(数据库)
    • 上方件(第三方服务)
    • 统计系统
    • 消息队列
    • 配置服务 redis master
前端服务
其中前端服务为主要为浏览服务,由CDN + SLB +(Node.js + Redis)组成:

  1. 使用阿里云VPC,内部人员使用Ansible管理服务器
  2. 通过Ansible运行Docker命令进行容器进行部署
  3. 后端服务&RabbitMQ,依然使用传统法子部署

第三代架构

用户访问域名后通过dns-load-balancer进行第一次负载,解析到CDN的不同CNAME,CDN判断请求类型:

  1. 资源 mp4/mp3/jpg/png返回客户端
  2. 请求转发到SLB,SLB通过加权轮训法子进行二次负载
  3. 请求到达前端服务器(Node.js),通过内部人员Redis集区获取数据
  4. 数据占据 则返回,不占据 则请求数据中心并缓存,再返回客户端
  5. 作为CDN源站,通过Nginx/HAProxy反向代理OSS,走阿里云内网对外提供媒体资源
数据存储
我司业务目前分为两类:

Kafka在内存占用上,大大超出RabbitMQ,单机部署RabbitMQ,当Queue数量达到1W左右则现在过后开始老出无法继续解决的情况表,同配置机器安装Kafka,测试期间30W左右任务,内存情况表依然完好。

配置服务
配置服务实在是简单的Redis主从,主要功能是维护某些配置信息,如服务的IP地址(实测结果中,海外各类运营商DNS解析有严重疑问图片,故而放弃域名使用IP);服务的配置信息,如服务名称,前端服务请求数据结果变更等;使用Redis的由于分析也是一样,无需能否自我维护情况表的,尽量放弃人工干预,肯能该主次占用资源较小,Master做持久化,Slave直接运行即可,使用Alpine镜像,仅仅10m左右。

刀耕火种的SSH方案与Docker实验阶段,目前肯能全面弃用。

第二代架构

本文来自云栖社区合作伙伴Dockerone.io,了解相关信息不能否关注Dockerone.io。

原文发布时间为:2016-12-10

我司目前对用户开放的业务为主要包含以下三块:

  1. 视频图片分享(2C)
  2. 全景 / VR直播(2B)
  3. 新闻合作(2B)
其中视频图像分享针对C端用户,用户遍布全球,要求各地用户都无需能否方便快速分享,一并也要求较好的浏览体验,肯能点对点分享的形态,该主次流量正常情况表无需过多;怎么让新闻媒体又扮演了特殊角色,之类11月25日,肯能凤凰网首页嵌入我司分享页,从8:00至9:30期间,持续一小时多的(n)Gbps流量&以及每秒(n)K请求数几乎扮演了DDoS身份,瞬间拖垮后端统计服务器,由于分析普通用户全版无法访问。同理,全景 / VR直播目前实在为测试功能,但仍占据 潜在风险。故而要求我司无需能否建立快速的相应机制,以及可用预备党员方案。

挑战

面临的挑战简单罗列如下:

  • 集群化部署
  • 差异化部署
  • 全球化部署
  • 环境差异大
  • 资源利用率低
  • 项目数量&语言增加
具体到各个内容四种 ,首先我们都都 时需前端服务器在各个region集群化部署,分摊访问压力,一并集群内在某些情况表下时需一并提供线上测试环境(不同于常规的测试环境,是全版等同于正式环境的测试版),从而时需差异化部署能力支持。其次,肯能我司全球化战略,业务不光要考虑国内用户,一并也要为海外用户提供一致的体验,故而要求全球化部署。环境差异大,是指采用前后端分离的法子进行开发后,前端及Web服务包含Redis+Node.js环境,后端一并占据 PHP + Java + Python + C等,传统法子部署肯能无法满足快速响应的需求,采用Ansible实在无需能否满足需求,但配置繁琐,故而也被放弃。一并,考虑业务的拓展性,单机部署上述各种环境时,时需预留一定资源作储备,解决突发情况表;即使采用镜像的法子对当前环境进行打包,在遇到突发情况表时,还原依然时需较长时间,响应带宽太慢;综合前几点考虑,采用了保证稳定性与可用性,降低资源利用率低的法子。最后不得不说的是,从最初的有几个项目到如今的几5个项目(日常更新10~20),肯能继续按照以往的法子,则不能否专人专职负责部署业务。对于一家创业公司来说,将更多的精力用于开发新功能与为用户提供更优体验,显然更为重要。综上所述,所有疑问图片全版时需求我们都都 转变原始的CI/CD法子,采用四种 更加轻量,更加简单的方案势在必行

方案

  • SSH/Fabric
  • Ansible
  • Docker