java自学教程|www.konglongmei.com

作者: 刘冠华
查看: 65|回复: 0

more +社区更新Forums

more +随机图赏Gallery

[技术知识] [翻译] 使用 Serverless 和 .NET Core 构建飞速发展的架构

[技术知识] [翻译] 使用 Serverless 和 .NET Core 构建飞速发展的架构

[复制链接]
刘冠华 | 显示全部楼层 发表于: 2019-12-3 00:26:14
刘冠华 发表于: 2019-12-3 00:26:14 | 显示全部楼层 |阅读模式
查看: 65|回复: 0
原文:Fast growing architectures with serverless and .NET Core
作者:Samuele Resca
Serverless 技术为开发人员提供了一种快速而独立的方式将实现投入生产。这种技术在企业的技术栈中日益流行,自 2017 年以来,它一直是 ThoughtWorks 技术雷达的实验级别的技术[译注:技术雷达是 ThoughtWorks 每半年发布的前沿技术解析]。
本篇文章的第一部分介绍了有关 Serverless 计算的基本概念。第二部分展示了如何构建 .NET Core 的 Lambda 函数,其中使用了 AWS 的 Serverless 框架。
Serverless 计算的好处

Serverless 技术是 FaaS(功能即服务)技术体系的一部分。随着云计算的采用,这些技术变得越来越受欢迎。如今,serverless 实现被提升为云计算提供商的首选技术,无论是私有云还是公有云。
此外,典型的软件服务和系统会通过在内存中保留大量数据并在复杂数据源中写入成批数据来完成操作。
然而一般而言,像 Serverless 一样的 FaaS 技术旨在通过尽可能快地处理许多小请求和事件,来使我们的系统保持快速响应。Serverless 组件通常与运行它们的云服务商所提供的事件紧密耦合:一个通知、一个队列调度的事件或者一个来自 API 网关的请求,都被视为此组件中包含的一小部分计算的触发器。这也就是云服务商的定价系统基于请求数而不是基于计算时间的主要原因。
再者,serverless 组件通常在执行时间上有一些限制。与每种技术一样,serverless 并不适合每一个解决方案和系统。但是事实上,它确实简化了软件工程师的一些工作,lambda 部署周期通常很快,开发人员只需要做少量工作就可以快速将新功能投入生产。此外,使用 serverless 技术构建组件意味着开发人员无需担心扩展问题或故障,让云提供商去关心这些问题吧。
最后,我们还应该知道 serverless 函数是无状态的。因此,基于此技术构建的每个系统都更加模块化和松耦合。
Serverless 的痛点

但是这种能力和敏捷性却不是没有代价的。首先,serverless 函数是在云上执行的,它们通常由与云提供商紧密耦合的事件触发,因此调试它们并不容易。这就是为什么要使它的作用域保持尽可能小,并且始终将函数的核心逻辑与外部组件和事件分隔开的原因。此外,用单元测试和集成测试覆盖 serverless 代码非常重要。
其次,就像微服务架构一样,它具有大量的服务,但是关注的范围很小,因此很难对 serverless 的组件进行监控,某些问题也很难检测。总之,很难对不同的 serverless 组件之间的体系结构和依赖性有一个全面的认识。因此,云提服务商和第三方公司都在提供监控和系统分析功能的一体式工具上投入了大量资金。
体验一下 serverless 计算

现如今,根据业务需求快速进化的架构以往任何时候都更为重要。数据驱动的体验是这个过程的一部分。此外,在发布新功能之前,我们应该实现MVP(译注:最小可行化产品)并在部分客户群上测试它。如果实验结果是肯定的,则值得在MVP上进行投资,以将其转化为我们产品的功能。
是的,serverless 计算提供了这样一种方法,可以在不考虑基础设施的情况下快速进化我们的架构。Serverless 轻量级开销提供了一种实现一次性 MVP 的方法,用于试验新功能和新特性。此外,它们还可以很容易地启动和关闭。
使用 .NET Core 来实现 AWS Lambda 函数

这一节将介绍使用 .NET Core 的一些 AWS Lambdas 的简单实现。该例子涉及三个关键技术:

  • AWS 是承载我们 serverless 功能的云服务商;
  • serverless 框架,它是将 Lambdas 放入 AWS 的非常有用的工具。作为一个通用的框架,它兼容所有主要的云服务商;
  • .NET Core 是微软提供的开源的、跨平台的框架;
我们将要讨论的示例也放在了 GitHub 上,URL 如下: serverless/examples/aws-dotnet-rest-api-with-dynamodb。该示例是 serverless 框架提供的一些模板项目的一部分。
AWS Lambda 项目遵循以下功能架构:

总结一下,该功能实现了对数据的一些读取/写入操作。客户端通过API网关发出HTTP请求,lambda 项目定义了三个函数:GetItem、InsertItem 和 UpdateItem。它们都对 DynamoDB 表进行操作。
项目结构

我们将要实现的解决方案具有以下项目结构:

  • src/DotNetServerless.Application 该项目包含了由 Serverless 执行的核心逻辑;
  • src/DotNetServerless.Lambda 该项目包含了 Serverless 函数的入口点以及所有与 AWS 紧密耦合的组件;
  • tests/DotNetServerless.Tests 该项目包含了 Serverless 功能的单元测试和集成测试;
领域项目

让我们从 application 层开始分析。项目的核心实体是 Item 类,它表示 DynamoDB(译注:AWS的一种数据库) 表中存储的实体:
  1. using Amazon.DynamoDBv2.DataModel;namespace DotNetServerless.Application.Entity{  public class Item  {    [DynamoDBHashKey]    public string Id { get; set; }    [DynamoDBRangeKey]    public string Code { get; set; }    [DynamoDBProperty]    public string Description { get; set; }    [DynamoDBProperty]    public bool IsChecked { get; set; }  }}
复制代码
实体的字段使用了一些特性进行修饰,以便使用 DynamoDb 存储模型映射它们。Item 实体被 IItemsRepository 接口引用,该接口定义用于存储数据的操作:
  1. using System.Collections.Generic;using System.Threading;using System.Threading.Tasks;using Amazon.DynamoDBv2;using Amazon.DynamoDBv2.DataModel;using Amazon.DynamoDBv2.DocumentModel;using DotNetServerless.Application.Entities;using DotNetServerless.Application.Infrastructure.Configs;namespace DotNetServerless.Application.Infrastructure.Repositories{  public interface IItemRepository  {    Task GetById(string id, CancellationToken cancellationToken);    Task Save(Item item, CancellationToken cancellationToken);  }  public class ItemDynamoRepository : IItemRepository  {    private readonly AmazonDynamoDBClient _client;    private readonly DynamoDBOperationConfig _configuration;    public ItemDynamoRepository(DynamoDbConfiguration configuration,      IAwsClientFactory clientFactory)    {      _client = clientFactory.GetAwsClient();      _configuration = new DynamoDBOperationConfig      {        OverrideTableName = configuration.TableName,        SkipVersionCheck = true      };    }    public async Task Save(Item item, CancellationToken cancellationToken)    {      using (var context = new DynamoDBContext(_client))      {        await context.SaveAsync(item, _configuration, cancellationToken);      }    }    public async Task GetById(string id, CancellationToken cancellationToken)    {      var resultList = new List();      using (var context = new DynamoDBContext(_client))      {        var scanCondition = new ScanCondition(nameof(Item.Id), ScanOperator.Equal, id);        var search = context.ScanAsync(new[] {scanCondition}, _configuration);        while (!search.IsDone)        {          var entities = await search.GetNextSetAsync(cancellationToken);          resultList.AddRange(entities);        }      }      return resultList;    }  }}
复制代码
IItemRepository 的实现定义了两个基本操作:

  • Save,允许调用者插入和更新实体;
  • GetById,根据 ID 返回对象;
最后,DotNetServerless.Application 的顶层是 Handler 部分。并且
,整个 application 项目都基于中介模式,以保证 AWS 函数和核心逻辑之间的松散耦合。让我们以创建项目处理程序的定义为例:
  1. using System;using System.Threading;using System.Threading.Tasks;using DotNetServerless.Application.Entities;using DotNetServerless.Application.Infrastructure.Repositories;using DotNetServerless.Application.Requests;using MediatR;namespace DotNetServerless.Application.Handlers{  public class CreateItemHandler : IRequestHandler  {    private readonly IItemRepository _itemRepository;    public CreateItemHandler(IItemRepository itemRepository)    {      _itemRepository = itemRepository;    }    public async Task Handle(CreateItemRequest request, CancellationToken cancellationToken)    {      var item = request.Map();      item.Id = Guid.NewGuid().ToString();      await _itemRepository.Save(item, cancellationToken);      return item;    }  }}
复制代码
如您所见,代码非常简单。CreateItemHandler 实现了 IRequestHandler,它使用内置的依赖注入来解析 IItemRepository 接口。处理程序的 Handler 方法仅将传入的请求与Item实体映射,并调用IItemRepository接口提供的Save方法。
函数项目

函数项目包含 lambda 功能的入口点。它定义了三个函数类,它们表示 AWS 的 lambda:CreateItemFunction, GetItemFunction 和 UpdateItemFunction; 稍后我们将看到,每个函数都将使用 API 网关的特定路由进行映射。
让我们以 CreateItem 函数为例,对函数定义进行一些深入探讨:
  1. using System;using System.Threading.Tasks;using Amazon.Lambda.APIGatewayEvents;using Amazon.Lambda.Core;using DotNetServerless.Application.Requests;using MediatR;using Microsoft.Extensions.DependencyInjection;using Newtonsoft.Json;namespace DotNetServerless.Lambda.Functions{  public class CreateItemFunction  {    private readonly IServiceProvider _serviceProvider;    public CreateItemFunction() : this(Startup      .BuildContainer()      .BuildServiceProvider())    {    }    public CreateItemFunction(IServiceProvider serviceProvider)    {      _serviceProvider = serviceProvider;    }    [LambdaSerializer(typeof(Amazon.Lambda.Serialization.Json.JsonSerializer))]    public async Task Run(APIGatewayProxyRequest request)    {      var requestModel = JsonConvert.DeserializeObject(request.Body);      var mediator = _serviceProvider.GetService();            var result = await mediator.Send(requestModel);      return new APIGatewayProxyResponse { StatusCode =  201,  Body = JsonConvert.SerializeObject(result)};    }  }}
复制代码
上面提到的代码定义了函数的入口点。首先,它声明一个构造函数,并使用Startup类公开的BuildContainer和BuildServiceProvider方法。稍后我们将看到,这些方法是为初始化依赖项注入容器而提供的。CreateItem 函数的 Run 方法使用 Lambda 序列器属性进行修饰,这意味着它是函数的入口点。此外,运行函数使用 APIGatewayProxyRequest 请求和 APIGatewayProxyReposne 作为 lambda 计算的输入和输出。
依赖注入

该项目使用了 .NET Core 内置的依赖注入。Startup 类定义了 BuildContainer 静态方法,该方法返回一个新的 ServiceCollection,其中包含实体之间的依赖关系映射:
  1. using System.IO;using DotNetServerless.Application.Infrastructure;using DotNetServerless.Application.Infrastructure.Configs;using DotNetServerless.Application.Infrastructure.Repositories;using DotNetServerless.Lambda.Extensions;using MediatR;using Microsoft.Extensions.Configuration;using Microsoft.Extensions.DependencyInjection;namespace DotNetServerless.Lambda{  public class Startup  {    public static IServiceCollection BuildContainer()    {      var configuration = new ConfigurationBuilder()        .SetBasePath(Directory.GetCurrentDirectory())        .AddEnvironmentVariables()        .Build();      return ConfigureServices(configuration);    }    private static IServiceCollection ConfigureServices(IConfigurationRoot configurationRoot)    {      var services = new ServiceCollection();      services        .AddMediatR()        .AddTransient(typeof(IAwsClientFactory), typeof(AwsClientFactory))        .AddTransient()        .BindAndConfigure(configurationRoot.GetSection("DynamoDbConfiguration"), new DynamoDbConfiguration())        .BindAndConfigure(configurationRoot.GetSection("AwsBasicConfiguration"), new AwsBasicConfiguration());      return services;    }  }}
复制代码
Startup使用ConfigureServices初始化新的ServiceCollection并与其一起解决依赖关系。此外,它还使用 BindAndConfigure 方法创建一些配置对象。BuildContainer方法将由函数调用,以解决依赖项。
测试我们的代码

如前所述,测试一下我们的代码,对于持续集成和交付是非常重要的,尤其是在lambda项目中。在这种情况下,测试将覆盖 IMediator 接口和处理程序之间的集成。此外,它们还覆盖了依赖项注入部分。让我们看看 CreateItemFunctionTests 的实现:
  1. using System.Threading;using System.Threading.Tasks;using Amazon.Lambda.APIGatewayEvents;using DotNetServerless.Application.Entities;using DotNetServerless.Application.Infrastructure.Repositories;using DotNetServerless.Application.Requests;using DotNetServerless.Lambda;using DotNetServerless.Lambda.Functions;using Microsoft.Extensions.DependencyInjection;using Microsoft.Extensions.DependencyInjection.Extensions;using Moq;using Newtonsoft.Json;using Xunit;namespace DotNetServerless.Tests.Functions{  public class CreateItemFunctionTests  {    public CreateItemFunctionTests()    {      _mockRepository = new Mock();      _mockRepository.Setup(_ => _.Save(It.IsAny(), It.IsAny())).Returns(Task.CompletedTask);      var serviceCollection = Startup.BuildContainer();      serviceCollection.Replace(new ServiceDescriptor(typeof(IItemRepository), _ => _mockRepository.Object,        ServiceLifetime.Transient));      _sut = new CreateItemFunction(serviceCollection.BuildServiceProvider());    }    private readonly CreateItemFunction _sut;    private readonly Mock _mockRepository;    [Fact]    public async Task run_should_trigger_mediator_handler_and_repository()    {      await _sut.Run(new APIGatewayProxyRequest {Body = JsonConvert.SerializeObject(new CreateItemRequest())});      _mockRepository.Verify(_ => _.Save(It.IsAny(), It.IsAny()), Times.Once);    }        [Theory]    [InlineData(201)]    public async Task run_should_return_201_created(int statusCode)    {      var result = await _sut.Run(new APIGatewayProxyRequest {Body = JsonConvert.SerializeObject(new CreateItemRequest())});      Assert.Equal(result.StatusCode, statusCode);    }  }}
复制代码
如您所见,上述代码执行了我们的函数,并且对已注入的依赖项执行一些验证,并验证 IItemRepository 公开的 Save 方法是否被调用。因为一些原因,测试类并没有覆盖 DynamoDb 的特性。此外,当我们将复杂的实体和操作结合在一起时,可以使用 Docker 容器通过一些集成测试来覆盖数据库部分。对了,提到 .NET Core 和 AWS 的话题,.NET AWS 团队有一个很好的工具来改进 lambda 的测试:LambdaTestTool
部署项目

让我们来看看如何将项目导入AWS。为此,我们将使用 serverless 框架。该框架的定义是:
serverless 框架是一个 CLI 工具,允许用户构建和部署自动缩放、按执行付费、事件驱动的函数。
为了把 serverless 添加我们的项目,我们应该执行以下命令:
  1. npm install serverless --save-dev
复制代码
定义基础架构

默认情况下,基础架构的定义将放在 serverless.yml 文件中。该文件看起来像这样:
[code]service: ${file(env.configs.yml):feature}frameworkVersion: ">=1.6.0

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|网站地图|java自学教程|www.konglongmei.com

GMT+8, 2020-7-13 08:31 , Processed in 0.341303 second(s), 47 queries .

快速回复 返回顶部 返回列表