服务
关于
CloudProse博客
建立

云大师使用Trek10重新构想数据

为了帮助他们验证自己的PoC并在实施方面做一些合法工作,ACG决定在Trek10引入数据工程专家。

云大师使用Trek10重新构想数据

对于想要在云中发展事业的个人和想要加速其云计算旅程的企业,Cloud Guru是一个入门学习平台。从公司的最初阶段开始,他们就立志成为在线云培训的全球领导者。

随着用户数量的激增,A Cloud Guru开始寻找扩展其产品范围的方法,并于2019年底宣布收购Linux Academy,这为成为全球最有效的云学习动手平台铺平了道路。

几乎在一夜之间,A Cloud Guru变成了一家规模更大的公司,具有不断增长的数据和基础架构需求。另外,两家公司拥有不同的预先存在的数据管理系统。为了将Linux Academy和A Cloud Guru整合在一起并充分利用其数据,A Cloud Guru需要从头开始创建新的统一数据架构。

A Cloud Guru的数据工程团队为新的数据平台构建了可靠的概念证明,重新构想了两家公司的数据收集,存储和分析方式。由于该体系结构将成为新数据平台在未来几年的基础,因此他们希望使其正确无误,并希望其尽快启动并运行。

“我们正在积极定义数据平台的未来架构。 Trek10意识到了这一点,他们花了一些时间来了解我们,了解我们团队和业务的需求。” -A Cloud Guru工程副总裁Alexandre Barreto

为了帮助他们验证PoC并在实施方面做一些工作,A Cloud Guru决定在Trek10引入数据工程专家。

故意关注数据

Cloud Guru想要做出的最根本的改变是他们对数据采集的思考方式:他们希望使数据更加结构化并易于分析团队使用。

“遗留数据仓库中有太多数据未被使用,因此分析团队难以使用。借助PoC,我们想开始问自己为什么需要它,它来自哪里以及分析团队将如何使用它。随着A Cloud Guru的需求不断增长和发展,我们希望对数据平台进行定位,以提供最佳解决方案。” -A Cloud Guru工程副总裁Alexandre Barreto

Cloud Guru的新数据提取系统会将所有传入的数据放入一个平台,在该平台上进行转换和过滤。原始数据(第1层)已标准化-Cloud Guru使用DynamoDB进行数据管理,而Linux Academy使用RDS(需要不同的提取方法)进入第2层数据,该数据存储在数据湖中。然后将某些数据转换为第3层数据,以备分析使用。所有数据都存储在S3中,可以使用Athena或Redshift Spectrum快速分析。

“我们的数据工程团队对Trek10的信任很高。他们是如此易于使用且知识渊博。 Trek10帮不上任何大大小小的挑战。” -A Cloud Guru工程副总裁Alexandre Barreto

碎片落入地方

Cloud Guru仅需几个月即可从计划阶段过渡到生产就绪。 Trek10致力于实施工作,加快了构建关键功能的过程,并为A Cloud Guru提供了更多时间专注于整理数据集。

A Cloud Guru的数据工程团队正在发生许多变化,对他们来说,对新方向充满信心非常重要,因为他们将成为维护它并在此基础上发展的人。从项目的最初阶段开始,重点就是确保A Cloud Guru的数据工程师熟练掌握他们在Trek10的支持下构建的新系统。

“ Trek10了解我们身在何处以及需要去的地方。他们举办了一个研讨会,以收集我们的需求,使每个人都了解我们引入的新技术,并强调我们未来需要考虑的内容。” -A Cloud Guru工程副总裁Alexandre Barreto

云大师展望未来

当亚历山大·巴雷托(Alexandre Barreto)考虑A Cloud Guru的下一步发展时,他立即着手将A Cloud Guru和Linux Academy平台的优势和好处结合在一起。 “我们希望为所有三大主要云提供商的用户提供数百种新课程,测验和考试以及扩展功能,例如动手实验室和Cloud Playground,以提供最全面的云学习体验。”

从数据工程的角度来看,Alexandre很高兴能够继续发展其数据平台,使自助服务功能能够快速将新资源纳入船上,并继续使运营数据更容易为业务决策提供依据。

“我对我们的团队以及到目前为止我们已经建立的团队充满信心,”亚历山大说。 “数据在A Cloud Guru各个方面的重要性正呈指数级增长。我们的竞争能力将越来越受到我们如何充分利用数据,应用分析和实施新技术的驱动。我们的数据平台是实现所有这些功能的基础。”