返回 登录
0

这有一份AWS re:Invent 2017的复习资料(长文,多图,慎入)

不久前,AWS在拉斯维加斯召开了一年一度的AWS re:Invent大会,而在每年的大会上,AWS都会以一口气发布大量的新产品和新服务著称,今年也不例外,两天的Keynote总共发布了26项新服务、新产品以及新特性,但实际上,每次的AWS re:Invent都能给我们带来诸多方面需要重点关注的内容。今年,老孙有幸亲自参加了此次盛会,也倾听了多场关键的演讲,觉得非常有必要重温,复习一下这次盛会,把大会中对于我们非常重要的内容更加详细的展现给大家。

图片描述

《刚刚,AWS在AWSre:Invent2017上发布了大量的新服务和新功能》以及《今天,AWS只发布了三项新服务,但仍然足够震撼全场》这两篇文章中,老孙已经简单的给大家介绍了AWS发布的众多新产品、新服务,但如此众多的产品和服务,确实会令人眼花缭乱,为了帮助广大读者朋友能够更好的把握重点,老孙抽丝剥茧,将其中个人认为需要我们所重点关注的内容摘录出来,着重笔墨介绍,希望能够帮助各位读者朋友们能够更好的了解此次大会的重点内容,为了便于阅读,做了简单的分类,但限于个人认知有限,难免有疏漏和偏颇之处,希望大家批评指正。

云计算

Amazon Elastic Container Service for Kubernetes(EKS)

Kubernetes精通者有福了,Kubernetes现在可以在AWS上轻松运行了,通过Amazon Elastic Container Service(Amazon EKS)托管服务即可,无需安装、操作和维护自己的Kubernetes集群。

以前,必须选择适当的实例类型,在多个可用区中运行这些实例,监视其运行状况,并替换运行状况不佳的节点,以便管理Kubernetes主节点和持久层的扩展和可用性。这需要修补和升级主节点和工作程序节点,以确保运行的是最新版本的Kubernetes。而这都需要专业的技能和大量的手动操作。

图片描述

而Amazon EKS可以完全管理每个集群Kubernetes控制层面的可用性和可扩展性。借助Amazon EKS,AWS可以管理升级和高可用性。Amazon EKS可在三个可用区中运行三个Kubernetes主节点,从而确保了高可用性。Amazon EKS可以自动检测和替换运行状况不佳的主节点,并对主节点进行自动版本升级和修补。Amazon EKS是使用开源的上游Kubernetes构建的,因此可以使用来自Kubernetes社区的所有现有插件和工具。

Amazon EKS还与许多AWS服务集成,因此可以利用Elastic Load Balancing、IAM身份验证、Amazon VPC隔离、AWS Private Link访问权限和AWS Cloud Trail日志记录。在Amazon EKS上运行的应用程序与在任何标准Kubernetes环境中运行的应用程序完全兼容,无论此类环境是在本地数据中心还是在云端运行。这意味着可以轻松地将任何标准Kubernetes应用程序迁移到Amazon EKS,而无需进行任何代码修改。

AWS Fargate

如果为云上部署和管理容器头痛的话,AWS Fargate将帮助你轻松部署和管理容器,而无需管理任何底层基础设施。利用Fargate,可以轻松扩展应用程序。不必再担心为容器应用程序配置足够计算资源的问题。并且可以在几秒钟内启动数十个或者数万个容器。

图片描述

以前,在管理Amazon EC2实例集群时,需要选择实例类型,管理容器的调度,并优化集群利用率。使用Fargate,所有这些问题都不复存在。Fargate与Amazon ECS无缝集成。只需按照现在定义Amazon ECS的方式就可定义应用程序。可以将应用程序打包到任务定义中,指定所需的CPU和内存,并定义每个容器需要的网络和IAM策略,完成所有设置后,Fargate就会启动和管理容器。使用Fargate,可以以秒为粒度进行计费,而只需要为实际使用量付费。

数据库

Amazon Neptune

Amazon Neptune是一个快速可靠且完全托管的图形数据库服务,可以轻松构建和运行使用高度连接的数据集的应用程序。Amazon Neptune的核心是专门构建的高性能图形数据库引擎,它进行了优化以存储数十亿个关系并将图形查询延迟降低到毫秒级。

Amazon Neptune支持常见的图形模型Apache TinkerPop和W3C的RDF及其关联的查询语言TinkerPop Gremlin和RDF SPARQL,从而使您可以轻松构建查询以有效地导航高度连接的数据集。Neptune支持图表用例,如建议引擎、欺诈检测、知识图表、药物开发和网络安全。

Amazon Neptune具有高可用性,并提供只读副本、时间点恢复、到Amazon S3的持续备份以及跨可用区的复制。Neptune非常安全,并支持加密静态数据和传输中的数据。Neptune完全托管,因此,再也无需担心数据库管理任务,例如,硬件配置、软件修补、设置、配置或备份。

Amazon DynamoDB备份和还原功能

利用Amazon DynamoDB的按需备份,可以创建DynamoDB表数据的完整备份以进行数据存档,并可以对包含几个MB到数百TB数据的表进行备份,而不会影响性能和对生产应用程序的可用性。

按需备份将在几秒内处理备份请求(不管表的大小如何),这样一来,便无需担心备份计划或长时间运行的进程。所有备份都将自动加密、编入目录、易于查找和保留,直到明确将其删除。只需在AWS管理控制台中单击一次或通过一次API调用,即可执行备份和还原操作。

Amazon Aurora Serverless

Amazon Aurora Serverless是一种面向Amazon Aurora的按需扩展配置,其中,数据库将根据应用程序的需求来自动启动、关闭以及向上扩展或向下扩展容量。利用Aurora Serverless,可以在云中运行关系数据库,而无需管理任何数据库实例或集群。

图片描述

Aurora Serverless是针对具有很少发生的、间歇性的或不可预测的工作负载的应用程序设计的。利用Aurora Serverless,可以选择指定应用程序所需的最小容量和最大容量,并且仅为使用的资源付费。在关系数据库的世界里,通过它就可以获得无服务器计算的好处。Amazon Aurora是一个完全托管的关系数据库,结合了高端商用数据库的性能和可用性,同时还具有开源数据库的简单性和成本效益。

Amazon Aurora Multi-Master

通过使用Amazon Aurora Multi-Master,可以在多个可用区中创建多个读取/写入主实例。这样,应用程序就可以在集群的多个数据库实例中读取和写入数据,就像可以在只读副本中读取一样。多主集群进一步提高了Aurora的高可用性。如果其中的一个主实例发生故障,集群中的其他实例将立即接替该实例,从而在发生实例故障甚至完全AZ故障时保持读写可用性,并将应用程序停机时间降到零。

图片描述

目前的单主Aurora在单个数据库集群中支持一个写入实例的最多15个可提升的只读副本。主写入器实例可以在r4.16xlarge上最多执行200,000个写入操作/秒。通过使用额外的主实例水平扩展写入操作,需要甚至更高的写入吞吐量的工作负载将会大大受益。

人工智能

Amazon SageMaker

简单的讲,Amazon SageMaker将是人工智能开发者构建、训练和部署机器学习模型一个大杀器。

在构建方面,Amazon SageMaker提供了快速连接到训练数据所需的所有内容,从而构建ML模型并为训练做好准备,并且还可以为应用程序选择和优化最佳算法和框架。

Amazon SageMaker包含托管的Jupyter笔记本,可以浏览和可视化在Amazon S3中存储的训练数据。也可以直接连接到S3中的数据,或者使用AWSGlue将数据从Amazon RDS、Amazon DynamoDB和Amazon Redshift移动到S3以在笔记本中进行分析。

Amazon SageMaker包含10种最常见的机器学习算法,已预装并优化了这些算法,与在任何其他地方运行这些算法相比,可以将性能提高10倍。Amazon SageMaker还预先进行配置以运行TensorFlow和Apache MXNet,这是两种最常见的开源框架。当然也可以选择使用自己的框架。

图片描述

在训练方面,只需要用鼠标单击一下,就可以在Amazon SageMaker控制台中开始训练自己的模型。Amazon SageMaker可以管理所有底层基础架构,并且可以轻松以PB级扩展以训练模型。为了使训练过程甚至更快更轻松,Amazon SageMaker可以自动调整模型参数以达到最高的精度。

在部署方面,Amazon SageMaker可以轻松在生产环境中部署模型,以便开始针对新数据运行和生成预测(该过程称为推理)。Amazon SageMaker在跨多个可用区的Amazon EC2实例自动扩展集群上部署模型以实现高性能和高可用性。Amazon SageMaker还包含内置的A/B测试功能,以帮助测试模型并试验不同的版本以获得最佳效果。

所以,本质上讲,Amazon SageMaker承担了机器学习的繁重工作,可以快速轻松地构建、训练和部署机器学习模型。

AWS DeepLens

AWS DeepLens是一款支持深度学习的无线摄像头,专门设计用于帮助各种技能水平的开发人员通过实操计算机视觉教程、示例代码和预先构建的模型提高他们的机器学习技能。

图片描述

DeepCam包含一个高清摄像头,已针对深度学习进行了板载计算优化,可以使用AWS Lambda对其进行完全编程。开发人员可以完全专注于其机器学习技能,而DeepCam自动优化模型,将其部署到设备以及连接到云以获得更高级的功能。DeepCam与Amazon SageMaker集成在一起,从而为开发人员提供了一个端到端的解决方案,以便一开始就在云和节点中学习、开发和测试机器学习应用程序。

开发者

AWS Cloud9

当前的开发环境已经和以前有了很大的不同,主要体现在以下几个方面:

1)开发人员需要更多的安全意识;2)更多协同合作的需求;3)更多语言的开发环境;4)更多的集成,服务;5)更多的移动需求;6)质量控制和开发的集成。总之,开发环境瞬息万变,开发人员需要更好的开发工具来帮助开发人员应对这些需求,为此,AWS提供了云上IDE环境——Cloud9,关于Cloud9,在上一篇文章《今天,AWS只发布了三项新服务,但仍然足够震撼全场》中已经有了详细的介绍,老孙就不再累述,在这里,老孙只援引亚马逊AWS全球开发者营销主管Adam Fitzgerald对Cloud9的点评:Cloud9是一个完整的IDE,集成了所有AWS的服务能力,支持各种编程的语音,使用灵活,共享协作方便,是一款非常出色的开发工具,AWS希望这款工具能够更好的帮助到开发者。

图片描述

AWS Serverless Application Repository

这个AWS Serverless Application Repository也在文章《今天,AWS只发布了三项新服务,但仍然足够震撼全场》中详细介绍过,在这里,老孙尽量简单的对它总结一下,这个无服务器应用库,有点类似于苹果的应用商店,开发人员可以从这个库中找到很多现成的无服务器代码、组件和应用,然后可以轻松的将这些代码、组件或者应用集成到自己的源代码中,从而轻松的实现一些特定的功能,同时,开发人员也可以将自己开发的代码、组件或者应用发布到这个库中,供大家共享,实际上,体现的是一种共享的精神。但需要注意的是,这些发布的无服务器应用必须是SAM格式的。

图片描述

更重要的一点是,SAM允许开发者定义AWSLambda函数。这对于开发者来说,是一个非常灵活和方便的功能。

物联网

Amazon FreeRTOS

Amazon FreeRTOS是一种适用于微控制器的IoT操作系统,可轻松地对小型低功率边缘设备进行编程、部署、保护、连接和维护。

图片描述

Amazon FreeRTOS扩展了FreeRTOS内核(一种用于微控制器的常用开源实时操作系统)并包含了用于实现安全性、连接性和可更新性的软件库。Amazon FreeRTOS提供了让您轻松地对已连接的基于微控制器的设备进行编程以及为IoT应用程序从这些设备收集数据所需的一切,并能帮助您在数百万台设备中扩展这些应用程序。Amazon FreeRTOS是免费和开源的,并且现在可供所有人使用。

AWS IoT Device Defender

AWS IoT Device Defender,这是一个完全托管的服务,可持续保护物联网设备队列。AWS IoT Device Defender会审核队列,确保它遵守安全最佳实践,检测异常的设备行为,提醒您注意安全问题,并给出缓解这些安全问题的建议。

架构

AWS Well-Architected Framework

在每年AWSre:Invent中,AWS CTO Werner Vogels都会带来一些对于开发、运营、运维、架构工程师带来一些有益的经验和建议,今年也不例外。

Werner首先以re:Image为主题,回顾了5年来,AWS re:Invent从一个小小的沙龙发展到如今4万人规模的大Party的历程,Werner表示,在五年前关于21世纪的架构应该是可控(Controllable)、可随时购买(Reslllent)、可适应(Adaptive)、数据驱动(DataDriven)的畅想如今已经逐渐变为现实。而从AWS诞生的第一天起,就已经达成了一个共识,那就是AWS想要取得成功,必须要重新建立打造系统的方式,创造快速灵活的创新工具。因此,AWS至今已经为用户带来了3951项创新功能和服务。Werner认为,目前的世界是技术驱动的世界,数据、物联网、P3实例,深度学习框架等工具改变了数据访问的方式,而未来,将是自然感知交互的时代,类似Alexa的语音交互将是解锁未来数字系统的钥匙。接着,Werner重点讲解了AWS的Well-Architected Framework,而这是老孙觉得应该重点关注的一点,也是需要重点来描述的部分。

所谓Well-Architected Framework,按照Werner的说法,是一个构建具有优秀操作体验、安全、可靠、高效、高性价比的五大特点架构的计划。经过将近两年,在数千家客户中的应用实践,目前这个框架已经比较成熟,Werner介绍说,AWS Well-Architected框架具有六大准则,实际上也是该架构能够给运营人员带来的好处,即:
1)无需猜测容量需求;2)能够在生产环境中测试系统;3)可以自动化部署基础设施;4)允许架构不断演化;5)能够用数据驱动架构;6)通过GameDays获得提升

图片描述

同时,AWS Well-Architected还具有高度的安全性,包括身份管理,检测控制、基础设施保护、数据保护、事故处理,而在此架构上,AWS提供了众多的最佳实践,包括提供强大的身份管理,可追溯的事件管理、在每一层提供的安全性、安全流程的自动化以及在任何时候保护数据和具备安全事件应急响应机制等。

图片描述

同时Werner认为,加密是保证和控制数据安全的唯一有效方法,而AWS的所有服务都内嵌了加密的功能。此外,安全是每一个人的职责,不再只是安全团队的任务,每一个人都是安全工程师,每个人都是安全团队的一员,特别对于核心的开发人员来说,他必须同时也是安全工程师,而且安全一定是要被紧密集成到开发过程,即所谓的持续集成交付管道(CI/CDPipeline),在开发的各个过程中都要有安全机制,每一个部分都必须内部集成安全,以保证开发的软件能够尽可能的安全,而AWS提供包括AWS TrusttedAdvisor、AWS Config、AWS ConfigRules、Amazon Inspector等工具可以帮助开发者完成软件部署事前、事中和事后的安全验证和分析。

图片描述

结语

好了,至此,此次AWS开发者大会老孙认为需要重点关注的内容已经介绍完毕了,但老孙认为有几件在大会上了解到的事情还是要给大家交代一下的,首先,此次AWS re:invent 2017是一场吸引了43000多名参会者、60000多在线观众,拥有1300多场技术演讲的技术大趴体,其次,在这次大会上,AWS总共发布了26项新服务、新功能、新产品。最后一点,也许是开发者感兴趣的一点,就是AWS的全球培训认证计划已经于今年二月在包括中国在内全球已经展开,想参加的可以随时参加此课程。

另据亚马逊AWS全球培训与认证主管Maureen Lonergan介绍,AWS Educate教育项目也已经在中国推出,此项目旨在课堂上推动云计算学习,该项目已被全球1500多个机构采用。目前,清华大学、北京大学、上海交通大学、哈尔滨工业大学、西安交通大学的一批教授已经注册参与该教育项目,并开发了云计算、物联网、软件工程、计算机科学基础等试点课程。该项目的展开将为中国学生直接接触国际先进的云计算技术提供便利的通道。

此外,在此次大会上,还介绍了AWS与Expedia,NHL、IRRI、DigitalGlobe、AGT International&Heed等企业的有趣的案例,如果有时间,老孙会给大家再详细介绍,好了,这份“复习资料”,您还满意么?

评论