Atruvia / Sparkasse / Volksbank – 数据仓库

用基于Trino的数据仓库替换Hadoop，构建一个自动扩展的微服务架构，以处理数百万德国客户的金融数据。

案例研究：利用开源解决方案革新Atruvia的数据管理

客户：Atruvia（Volksbank和Sparkasse的IT提供商）

项目概述：

Atruvia是Volksbank和Sparkasse的IT支柱，面临着Hadoop数据管理基础设施成本上升和限制的问题。认识到需要一个更具成本效益和先进的解决方案，Atruvia寻求构建一个现代数据仓库，利用最前沿的技术。目标是创建一个符合BaFin标准的微服务架构，使分析团队能够轻松处理海量数据，仅使用开源工具，避免任何公共云组件。

目标：

用基于Trino和S3自动扩展集群构建的可扩展、高效且成本效益高的数据仓库解决方案，替换昂贵的Hadoop基础设施，确保符合BaFin法规，并优化终端用户的数据性能。

解决方案设计过程：

需求分析：

与Atruvia的IT和分析团队进行了深入讨论，了解他们的具体需求、挑战和监管要求。 确定了关键方面，如成本降低、可扩展性、数据性能和分析团队的易用性。

技术评估：

• 评估了各种开源技术以替换Hadoop，重点关注Trino的强大SQL查询能力和S3自动扩展集群的高效数据存储。
• 确保所有选定的技术符合BaFin法规，并能无缝集成到Atruvia的现有基础设施中。

架构设计：

• 设计了一个使用OpenShift托管整个数据仓库和分析环境的微服务架构。
• 实施S3自动扩展集群作为主要存储解决方案，替代传统数据库，确保海量数据的可扩展性。
• 开发了一个符合BaFin标准的框架，以管理数据安全和监管合规性。

用户友好工具和环境：

• 创建了预配置的Jupyter Notebook环境，使分析团队能够上传、分析和可视化大数据集，而无需广泛的技术知识。
• 集成了交互式仪表板，以提供实时洞察并简化数据分析过程。

实施：

基础设施设置：

• 在OpenShift环境中部署了Trino和S3自动扩展集群，确保高可用性和可扩展性。
• 配置了微服务架构，以高效处理数据摄取、处理和查询。

数据迁移：

• 执行了从Hadoop基础设施到新的基于Trino和S3的数据仓库的无缝数据迁移。
• 确保在迁移过程中数据的完整性和合规性。

用户培训和支持：

• 为分析团队提供了全面的培训课程，使他们熟悉新工具和工作流程。
• 建立了支持框架，以帮助用户过渡到新环境并最大化其收益。

结果：

• 成本降低：通过用更高效的开源解决方案替换昂贵的Hadoop基础设施，成功降低了数据管理成本。
• 可扩展性和性能：显著提高了数据的可扩展性和性能，使海量数据的处理变得无缝。
• 监管合规性：确保完全符合BaFin法规，提供了一个安全可靠的数据管理环境。
• 用户赋能：通过易于使用的工具赋能分析团队，消除了对PySpark和复杂配置的需求，使他们能够专注于从数据中获取洞察。

结论：

该项目为Atruvia带来了变革性的数据管理解决方案，利用开源技术提供了一个可扩展、成本效益高且符合BaFin标准的数据仓库。通过用Trino和S3自动扩展集群替换Hadoop，并提供用户友好的分析工具，Atruvia显著增强了其数据能力，确保了最佳性能并赋能其分析团队。

您是否希望现代化您的数据基础设施？今天就联系我们，了解我们如何帮助您构建一个可扩展、成本效益高且符合合规要求的数据管理解决方案，满足您的需求！