加入收藏 | 设为首页 | 会员中心 | 我要投稿 银川站长网 (https://www.0951zz.com/)- 云通信、基础存储、云上网络、机器学习、视觉智能!
当前位置: 首页 > 云计算 > 正文

亚马逊云科技推出八项Amazon SageMaker全新性能

发布时间:2023-03-24 12:35:56 所属栏目:云计算 来源:
导读:这次发布包括新亚马逊 SageMaker管制功能,它可以在整个机器学习生命周期中提供对模型性能的可见性。新的 Amazon SageMaker Studio Notebook 功能提供了增强的Notebook体验,让客户只需点击几下即可检查和解决数据质

这次发布包括新亚马逊 SageMaker管制功能,它可以在整个机器学习生命周期中提供对模型性能的可见性。新的 Amazon SageMaker Studio Notebook 功能提供了增强的Notebook体验,让客户只需点击几下即可检查和解决数据质量问题,促进数据科学团队之间的实时协作,通过将Notebook代码转变到自动化作业,加速机器学习实验到生产的过程。最后,Amazon SageMaker新功能可自动执行模型验证,并且让地理空间数据处理变得更容易。

对很多用户而言,云计算让机器学习触手可及。但直到几年前,构建、训练和部署模型的过程仍然是艰苦而乏味的,人手不多的数据科学家团队需要进行为期数周或数月的持续迭代,才能使模型达到生产水平。亚马逊云科技在五年前推出 Amazon SageMaker以应对这些挑战,此后陆续增加了250 多项新特性和功能,让客户能够更轻松地在多项业务中使用机器学习。当前,一些客户聘请了数百名专业人员,他们使用 Amazon SageMaker 做出预测,用以在改善客户体验、优化业务流程和加速新产品和服务开发等方面帮助解决最严峻的挑战。随着机器学习应用的增长,客户想要使用的数据类型不断增加,客户需要的治理、自动化和质量保证水平也与日俱增,以期实现对机器学习负责任的应用。Amazon SageMaker一向致力于为全球所有技能水平的专业人员提供支持,此次发布也秉承了这一创新传统。

Amazon SageMaker 机器学习治理新功能

Amazon SageMaker新功能可以帮助客户更轻松地在机器学习模型生命周期中扩大治理规模。 随着企业内模型和用户数量的增长,设置最低权限的访问控制和创建治理流程以记录模型信息(如输入数据集、训练环境信息、模型使用描述和风险评级)都变得愈发困难。模型部署后,客户还需要监测偏差和特征偏移,从而确保模型按预期运行。

Amazon SageMaker Role Manager 可以更轻松地控制访问和权限:适当的用户访问控制是治理的基石,它保护数据隐私,防止信息泄露,确保专业人员可以访问他们完成工作所需的工具。但一旦数据科学团队增加到数十人甚至数百人,实施这些控制就会变得越来越复杂。机器学习管理员(创建和监控组织内机器学习系统的人)必须平衡对简化开发的需求和对管控机器学习工作流内任务、资源和数据访问的需求。当前,管理员通常创建电子表格或使用临时列表导览数十种不同活动(如数据准备和训练)和角色(如机器学习工程师和数据科学家)所需的访问策略。这些工具需要手动维护,而且可能需要数周时间才能明确新用户有效完成工作所需的具体任务。Amazon SageMaker Role Manager 让管理员可以更轻松地控制访问并为用户定义权限。管理员可以根据不同的用户角色和职责选择和编辑预建模板。之后,该工具会在几分钟内自动创建具有必要权限的访问策略,持续降低添加和管理用户所投入的时间和精力。

Amazon SageMaker Model Cards简化模型信息收集:当前,大多数专业人员依靠不同的工具(如电子邮件、电子表格和文本文件)记录模型开发和评估期间的业务需求、关键决策和观察结果。专业人员需要用这些信息支持审批工作流、注册、审计、客户查询和监控,但要为每个模型都收集这些详细信息则需要几个月的时间。一些专业人员试图通过构建复杂的记录保存系统来解决问题,但这样的系统需要手动操作、耗时且容易出错。Amazon SageMaker Model Cards在亚马逊云科技控制台提供了单独的位置存储模型信息,从而在整个模型生命周期中简化文档管理。新功能会自动将输入数据、训练环境和训练结果等详细的训练信息直接输入到 Amazon SageMaker Model Cards。用户还可以使用自助问卷的形式保存模型信息(如精度目标、风险评级)、训练和验证结果(如偏差或精准度指标)以及供将来参考的观察结果,用以进一步提升治理水平、支持负责任地使用机器学习。

Amazon SageMaker Model Dashboard 提供集中界面以跟踪机器学习模型:模型部署到生产环境后,专业人员希望不断跟踪模型以了解其性能、识别潜在问题。这一任务通常针对每个模型单独完成。但当组织开始部署数千个模型时,这种方式会变得越来越复杂,需要大量的时间和资源。 Amazon SageMaker Model Dashboard 可以全面概览已部署的模型和端点,让专业人员只需在一个地方就可以跟踪资源和模型行为。通过模型看板,客户还可以使用内置集成的Amazon SageMaker Model Monitor(具备模型与数据偏移监控功能)和Amazon SageMaker Clarify(具备机器学习偏差检测功能)。这种对模型行为和性能的端到端可见性为简化机器学习治理流程、快速方便地解决这些模型提出的问题同时提供了一些必备的信息。

加速整个数据科学团队的协作:准备好数据后,专业人员就可以开始开发模型。这是一个迭代过程,可能需要团队成员在同一个Notebook中进行协作。当前,团队必须通过电子邮件或聊天应用交换Notebook和其它资产(如模型和数据集),以便在Notebook上实时协作,这会导致沟通疲劳、反馈迟滞和版本不统一等问题。 Amazon SageMaker 现在为团队提供了一个工作区,成员可以在其中实时阅读、编辑和运行Notebook,简化协作和沟通。团队成员可以一起查看Notebook结果,立即了解模型性能,无需反复传递信息。Amazon SageMaker Studio Notebook支持 BitBucket 和 Amazon CodeCommit 等服务,团队可以轻松管理不同的Notebook版本,比较版本变更。实验和机器学习模型这样的附加资源也会自动保存,让团队工作井井有条。在开发过程中,我们会遇到各种各样的问题,这时候就需要一个专业的人来解决问题。

(编辑:银川站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!