AWS 发布 AWS Glue DataBrew,让数据可视化准备工作提速达 80%
摘要:日前,亚马逊云服务(AWS)宣布AWSGlueDataBrew正式可用。AWSGlueDataBrew是一款全新的可视化数据准备工具,客户无需编写代码就可以清洗和处理数据。
为分析和机器学习准备数据涉及多个必要且耗时的任务,包括数据提取、清洗、标准化、加载和大规模ETL工作流的编排。为了大规模地提取、转换和加载数据,精通SQL或Python、Scala等编程语言的数据工程师和ETL开发者可以使用AWS Glue。ETL开发者通常更喜欢现代ETL工具中常见的可视化接口,而不是编写SQL、Python或Scala,所以AWS最近推出了AWS Glue Studio,这是一个新的可视化界面,可以帮助编写、运行和监控ETL作业,无需编写任何代码。一旦数据被可靠地搬移到AWS上,就需要业务线中理解数据上下文的数据分析人员和数据科学家对这些数据进行清洗和处理。要清洗和处理数据,数据分析师和数据科学家们要不就得在Excel或Jupyter Notebooks中处理小批量的数据,从而无法处理大型数据集。又或者需要依靠稀缺的数据工程师和ETL开发人员编写定制代码,执行清洗和处理。为了发现数据中的异常,技术精湛的数据工程师和ETL开发者需要花费数天或数周时间编写定制工作流,将数据从不同的源中提取出来,然后透视、转置,多次切分数据,才能由数据分析师和数据科学家迭代,识别并解决数据的质量问题。在开发了这些转换之后,数据工程师和ETL开发者仍然需要编排自定义工作流并持续运行来自动地清洗和规范化新传入的数据。每次数据分析师或数据科学家想要更改或添加转换时,数据工程师和ETL开发者就需要再次提取、加载、清洗、规范化和协调数据准备任务,这个迭代过程可能需要数周到数个月的时间才能完成。结果是,客户多达80%的时间都花费在清洗和标准化数据上,而非真正地分析数据并从中提取价值。
AWS Glue DataBrew是一个AWS Glue的可视化数据准备工具,允许数据分析师和数据科学家无需编写任何代码,即可通过一个交互式、单击的可视化界面来清洗和转换数据。使用AWS Glue DataBrew,终端用户可以直接从他们的Amazon Simple Storage Service (Amazon S3)数据湖、Amazon Redshift数据仓库、Amazon Aurora和Amazon Relational Database Service (Amazon RDS)数据库中轻松地访问、可视化地探索组织内任意数量的数据。客户无需编写代码,即可选择超过250个内置函数来组合、透视和转置数据。AWS Glue DataBrew推荐诸如过滤异常、将数据标准化为标准日期和时间值、生成用于分析的聚合,以及纠正无效、错误分类或重复的数据等数据清洗和标准化步骤。对于复杂的任务,如将单词转换为通用的基本单词或根单词(如将“yearly”和“yearlong”转换为“year”),AWS Glue DataBrew还提供了使用高级机器学习技术,如自然语言处理(NLP)的转换。然后,用户可以将这些清洗和处理步骤保存到工作流(称为配方)中,并将它们自动应用到未来传入的数据中。如果需要对工作流进行更改,数据分析师和数据科学家只需更新配方中的清洗和处理步骤,并在新数据到达时自动应用它们。AWS Glue DataBrew将准备好的数据发布到Amazon S3,让客户可以很便捷地立即用于分析和机器学习。AWS Glue DataBrew是无服务器和全托管的服务,客户不需要配置、供应或管理任何计算资源。
“AWS客户正以前所未有的速度使用数据,进行分析和机器学习。然而,这些客户经常告诉我们,他们的团队在无差异的、重复的、单调的数据准备工作上花费了太多时间。”AWS数据库和分析副总裁Raju Gulabani表示,“客户喜欢像AWS Glue这样基于代码的数据准备服务的可扩展性和灵活性,而允许业务用户、数据分析师和数据科学家无需编写代码,就可以独立地可视化地探索和试验数据,也会让客户从中受益。AWS Glue DataBrew具有一个易于使用的可视化界面,可帮助所有技术水平的数据分析师和数据科学家理解、合并、清洗和转换数据。”
AWS Glue DataBrew现已在美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、欧洲(爱尔兰)、欧洲(法兰克福)、亚太地区(悉尼)区域和亚太地区(东京)区域正式推出,其它区域也将很快推出。
- 安森美汽车&能源基础设施白皮书下载活动时间:2024年04月01日 - 2024年10月31日[立即参与]
- 2023年安森美(onsemi)在线答题活动时间:2023年09月01日 - 2023年09月30日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年08月01日 - 2023年08月31日[查看回顾]
- 【在线答题活动】PI 智能家居热门产品,带您领略科技智慧家庭时间:2023年06月15日 - 2023年07月15日[查看回顾]
- 2023年安森美(onsemi)在线答题活动时间:2023年06月01日 - 2023年06月30日[查看回顾]
- 汽车电子电源行业可靠性要求,你了解多少?
- 内置可编程模拟功能的新型 Renesas Synergy™ 低功耗 S1JA 微控制器
- Vishay 推出高集成度且符合 IrDA® 标准的红外收发器模块
- ROHM 发布全新车载升降压电源芯片组
- 艾迈斯半导体推出行业超薄的接近/颜色传感器模块,助力实现无边框智能手机设计
- 艾迈斯半导体与 Qualcomm Technologies 集中工程优势开发适用于手机 3D 应用的主动式立体视觉解决方案
- 维谛技术(Vertiv)同时亮相南北两大高端峰会,精彩亮点不容错过
- 缤特力推出全新商务系列耳机 助力解决开放式办公的噪音难题
- CISSOID 和泰科天润(GPT)达成战略合作协议,携手推动碳化硅功率器件的广泛应用
- 瑞萨电子推出 R-Car E3 SoC,为汽车大显示屏仪表盘带来高端3D 图形处理性能
众所周知,LED的驱动IC担负着在输入电压不稳定的情况下,为LED提供恒定的电流,并控制恒定(可调)亮度的作用。无论是室内照明,还是车载应用,都肩负着极为重要的使命。
- 关于反激电源效率的一个疑问
时间:2022-07-12 浏览量:10160
- 面对热拔插阐述的瞬间大电流怎么解决
时间:2022-07-11 浏览量:8919
- PFC电路对N线进行电压采样的目的是什么
时间:2022-07-08 浏览量:9560
- RCD中的C对反激稳定性有何影响
时间:2022-07-07 浏览量:7180
- 36W单反激 传导7~10M 热机5分钟后超标 不知道哪里出了问题
时间:2022-07-07 浏览量:5956
- PFC电感计算
时间:2022-07-06 浏览量:4166
- 多相同步BUCK
时间:2010-10-03 浏览量:37861
- 大家来讨论 系列之二:开机浪涌电流究竟多大?
时间:2016-01-12 浏览量:43155
- 目前世界超NB的65W适配器
时间:2016-09-28 浏览量:60019
- 精讲双管正激电源
时间:2016-11-25 浏览量:128085
- 利用ANSYS Maxwell深入探究软磁体之----电感变压器
时间:2016-09-20 浏览量:107547
- 【文原创】认真的写了一篇基于SG3525的推挽,附有详细..
时间:2015-08-27 浏览量:100275