Spring Cloud On ECS

发表于 | 分类于 |

背景

如果只是在一台主机或者虚拟机上面运行一个容器，那么Docker命令行就足够了，e.g: docker run xxximage。 但是如果需要管理一个100X的容器集群，就比较有挑战了。
在AWS众多服务中，就有提供集群资源管理和服务调度的服务，比如EKS和ECS, 由于EKS还没有进入中国区，本篇博客重点介绍在ECS上面运行基于Spring Cloud全家桶的微服务架构。

ECS的工作原理

ECS-picture.png
我们将基于上面的ECS架构图，简单介绍下ECS的一些重要组件和工作原理。

  • ECS agent, 在每一个实例，它都有一个运行的docker进程，它就是ECS agent, 其主要负责接收ECS的命令，并且将这些命令转化为docker对应的命令；所以它能够控制EC2实例，什么时候启动、停止容器并且监控已经使用的和空闲的资源情况。
  • ECS pause, 第一启动的容器，协调以后容器进行协议的分配，防止冲突。
  • Cluster mangement Engine负责协调整个集群的实例，它可以被认为是虚拟的资源池，比如内存、存储、CPU、网络等；所以通过它，能够知道整个集群的资源现状。
  • Scheduler负责调度容器或者tasks的执行；它能知道每个task的运行状态，是否是alive或者dead，是否需要rescheduled等。
  • Kev-Value Store, 负责整个集群状态的管理。
  • API, ECS另一个比较独特的地方，在于它将容器的调度从集群管理中解耦出来，并且提供一些的API，以供使用者使用。

演示介绍

基于Spring Cloud全家桶的微服务架构，如何运行在ECS容器云平台上面，本文准备了三个服务，用于演示：

每个服务基于docker，需要通过./mvn clean package的方式，进行打包和构建新的docker镜像，然后通过下面类似的命令，将最新的镜像发布到ECR镜像注册服务器上面。

  • 在ECR创建对应的镜像库。

    1
    2
    $(aws ecr get-login --no-include-email --region ap-southeast-1)
    aws ecr create-repository --repository-name simple-cluster/simple-application

  • 将最新的镜像，发布到ECR对应的镜像库。

    1
    2
    3
    4

    docker tag simple-cluster/simple-application:latest 613175009525.[dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest](http://dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest)

    docker push 613175009525.[dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest](http://dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest)

  • 发布成功之后，更新Cloudformation对应的镜像仓库地址：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    Sample:
         cpu: 512
         mem: 1024
         javaopt: "-Xms512m -Xmx1024m -Xss512k"
         port: 3000
         hostport: 9050
         name: simple-sample
         context: /simple-application
         taskcount: 1
         minhealthcount: 50
         maxhealthcount: 200
         HealthCheckGracePeriodSeconds: 300
         logPrefix: simple-application
         image: '613175009525.dkr.ecr.ap-southeast-1.amazonaws.com/simple-cluster/simple-application:latest'
         HealthCheckIntervalSeconds: 30
         HealthCheckPath: /simple-application/actuator/info
         HealthCheckPort: traffic-port
         HealthCheckProtocol: HTTP
         HealthCheckTimeoutSeconds: 5
         HealthyThresholdCount: 5

ECS集群：

可以通过命令行工具ecs-cli up进行创建，或者使用Cloudformation进行创建，本文演示基于Cloudformation的创建方式。

1
2
3
4
$ aws cloudformation create-stack --stack-name simple-ecs-cluster-cf-template --template-body file://simple-ecs-cluster-cf.yaml --region ap-southeast-1 --parameters ParameterKey=EcsInstanceType,ParameterValue=t2.medium,ParameterKey=KeyName,ParameterValue=aws-singapore-key,ParameterKey=VpcId,ParameterValue=vpc-0cbbd87895dbbfc5b
{
    "StackId": "arn:aws:cloudformation:ap-southeast-1:613175009525:stack/simple-ecs-cluster-cf-template/008ff110-2685-11e9-94ea-064b1a6199c8"
}

创建成功界面如下：
image.png

请指定正确的VPC，Subnet，SG和指定EC2的类型，数量，AMI，EBS和key pair，之后ECS会自动创建EC2，并且为其配置如下信息：

1
"#!/bin/bash\n","echo ECS_CLUSTER=",!Ref EcsClusterName," >> /etc/ecs/ecs.config\n"

创建公共的ALB, 并且根据path进行微服务的分发，对外提供接口。

image.png

部分相关Cloudformation配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
###############   ALB Default Target-Group ####################
  DefaultALBListener:
    Type: AWS::ElasticLoadBalancingV2::Listener
    Condition: CreateSpringCloud
    Properties:
      DefaultActions:
      - Type: forward
        TargetGroupArn: !Ref DefaultTargetGroup
      LoadBalancerArn: !Ref PublicApplicationLoadBalancer
      Port: 80
      Protocol: HTTP

  DefaultTargetGroup:
    Type: AWS::ElasticLoadBalancingV2::TargetGroup
    Condition: CreateSpringCloud
    DependsOn: PublicApplicationLoadBalancer
    Properties:
      HealthCheckIntervalSeconds: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckIntervalSeconds ]
      HealthCheckPath: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckPath ]
      HealthCheckPort: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckPort ]
      HealthCheckProtocol: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckProtocol ]
      HealthCheckTimeoutSeconds: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthCheckTimeoutSeconds ]
      HealthyThresholdCount: !FindInMap [ SpringCloudMiddlewares, Eureka, HealthyThresholdCount ]
      Matcher:
        HttpCode: 200
      Name: default-target-group
      Port: 80
      Protocol: HTTP
      TargetGroupAttributes:
        -
          Key: deregistration_delay.timeout_seconds
          Value: 300
        -
          Key: slow_start.duration_seconds
          Value: 0
        -
          Key: stickiness.enabled
          Value: false
      VpcId: !Ref VpcId

##############   Spring Cloud Sample Resources start ####################
  SpringCloudSampleECSALBListenerRule:
    Type: AWS::ElasticLoadBalancingV2::ListenerRule
    Condition: CreateSampleTask
    DependsOn: DefaultALBListener
    Properties:
      Actions:
      - Type: forward
        TargetGroupArn: !Ref SpringCloudSampleTargetGroup
      Conditions:
      - Field: path-pattern
        Values: [/simple-application*]
      ListenerArn: !Ref DefaultALBListener
      Priority: 3

指定服务运行环境：

方法一： 通过ECS task配置环境变量

1
2
3
4
5
6
environment": [
        {
          "name": "JAVA_OPTS",
          "value": "-Dspring.profiles.active=aws"
        }
      ]

方法二： 通过Cloudformation配置环境变量

1
2
3
4
5
6
7
8
9
10
Environment:
           -
             Name: JAVA_OPTS
             Value: !FindInMap [ SpringCloudMiddlewares, ConfigServer, javaopt ]
           -
             Name: EUREKA_URL
             Value: !Join [ "" , [ "http://", !GetAtt PublicApplicationLoadBalancer.DNSName, "/simple-eureka/eureka"]]
           -
             Name: SPRING_PROFILES_ACTIVE
             Value: aws

确保端口动态绑定(非静态绑定)，防止端口冲突问题：

方法一： ECS的task配置，hostPost设置为0.

1
2
3
4
5
6
7
"portMappings": [
        {
          "hostPort": 0,
          "protocol": "tcp",
          "containerPort": 8080
        }
      ]

方法二： 通过Cloudformation配置动态端口绑定

1
2
3
-
  ContainerPort: !FindInMap [ SpringCloudMiddlewares, ConfigServer, port ]
  HostPort: 0

确保SG安全组，允许在动态端口范围内的访问：
image.png

创建Task的时候，确保每个task里面都开启了日志记录：

1
2
3
4
5
6
7
8
"logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "simple-ecs-cluster-log",
          "awslogs-region": "cn-northwest-1",
          "awslogs-stream-prefix": "simple-application"
        }
      }
1
2
3
4
5
6
7
###############  CloudWatchLog  start ####################
  ECSCloudWatchLogGroup:
    Type: AWS::Logs::LogGroup
    Properties:
      LogGroupName: !Join [ "-" , [ !Ref EcsClusterName, !Ref ECSCloudWatchLogGroupName]]
      RetentionInDays: !Ref ECSCloudWatchLogGroupRetentionInDays
###############  CloudWatchLog  end ####################

创建Task的时候，确保每个task里面都拥有足够多的访问权限，比如你的服务需要访问SQS，Redis，S3等。

集群部署
部署成功后，可通过下面Eureka界面，查看注册成功的服务：
ecs-demo-dashbroad.png
查看ECS集群运行状态：
ecs-cluster.png

时区的一致性：

  • EC2上面的时区一致性：
1
2
3
4
5
6
7
8
9
10
11
12
13
14

for ec2 in 10.208.195.1xx 10.208.194.xx 10.208.194.1xx 
do
echo $ec2;
ssh -i ~/.ssh/yourkey.pem ec2-user@$ec2  << sshoff
    sudo yum -y erase 'ntp*'
    sudo yum -y install chrony
    sudo service chronyd start
    sudo chkconfig chronyd on
    sudo sed -i 's/ZONE=\"UTC/ZONE=\"Asia\/Shanghai/g' /etc/sysconfig/clock
    sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
    exit
sshoff
done

  • RDS上面的时区一致性：

    设置Parameter Group，并且重启实例。

  • Docker上面的时区一致性：

    重新构建满足条件的base镜像，并更新响应的配置文件pom.xml或者dockerfile

  • 编码上，保证时区的方法：

    1
    System.setProperty("user.timezone","Asia/Shanghai");

  • 通过传递参数的方式，保证时区的方法：

    1
    -Duser.timezone=GMT+8

源代码：