大數據集群被竊取數據怎么辦？透明加密可以一試

摘要：傳統大數據集群中，用戶數據明文保存在HDFS中，集群的維護人員或者惡意攻擊者可在OS層面繞過HDFS的權限控制機制或者竊取磁盤直接訪問用戶數據。

本文分享自華為云社區《FusionInsight MRS透明加密方案》，作者： 一枚核桃 。

概述

傳統大數據集群中，用戶數據明文保存在HDFS中，集群的維護人員或者惡意攻擊者可在OS層面繞過HDFS的權限控制機制或者竊取磁盤直接訪問用戶數據。

FusionInsight MRS引入了Hadoop KMS服務并進行增強，通過對接第三方KMS，可實現數據的透明加密，保障用戶數據安全。

• HDFS支持透明加密，Hive、HBase等在HDFS保存數據的上層組件也將通過HDFS加密保護，加密密鑰通過HadoopKMS從第三方KMS獲取。
• 對于Kafka、Redis等業務數據直接持久化存儲到本地磁盤的組件，通過基于LUKS的分區加密機制保護用戶數據安全。

HDFS透明加密

• HDFS透明加密支持AES、SM4/CTR/NOPADDING加密算法，Hive、HBase使用HDFS透明加密做數據加密保護。SM4加密算法由A-LAB基于OpenSSL提供。
• 加密使用的密鑰從集群內的KMS服務獲取，KMS服務支持基于Hadoop KMS REST API對接第三方KMS。
• 一套FusionInsight Manager內部署一個KMS服務，KMS服務到第三方KMS使用公私鑰認證，每個KMS服務在第三方KMS對應擁有一個CLK。
• 在CLK下可以申請多個EZK，與HDFS上的加密區對應，用于加密數據加密密鑰，EZK在第三方KMS中持久化保存。
• DEK由第三方KMS生成，通過EZK加密后持久化保存到NameNode中，使用的時候使用EZK解密。
• CLK和EZK兩層密鑰可以輪轉。CLK作為每個集群的根密鑰，在集群側不感知，輪轉完全由第三方KMS控制管理。EZK可通過FI KMS管理，輪轉在FI KMS可控制管理，同時第三方KMS管理員擁有KMS內密鑰的管理能力，也可以做EZK的輪轉。

LUKS分區加密

對于Kafka、Redis等業務數據直接持久化存儲到本地磁盤的組件，FusionInsight集群支持基于LUKS的分區加密進行敏感信息保護。

FusionInsight安裝過程的腳本工具使用Linux統一密鑰設置（Linux Unified Key Setup，簡稱LUKS）分區加密方案，該方案加密分區時會在集群每個節點生成或者從第三方KMS獲取訪問密鑰，用于加密數據密鑰，以保護數據密鑰安全性。磁盤分區加密后，重啟操作系統或者更換磁盤場景下，系統能夠自動獲取密鑰并掛載或創建新的加密分區。

?

點擊關注，第一時間了解華為云新鮮技術~