# 存储

## 数据迁移工具

### 线上数据同步

#### AWS Storage Gateway
- 一种服务，存储网关
- 数据在本地和云进行无缝的同步
- 支持三种协议
    - S3 File 
    - FSx File

![alt text](./figures/storage_gateway.png)

#### AWS DataSync

![alt text](./figures/data_sync.png)

### 线下的迁移工具
- 大数据量的数据迁移(PB,EB的级别)
- Snow Family
    - snowcone
    - sonwball
    
## Amazon S3
- 持久性的对象存储解决方案，默认情况下，Amazon S3 中的数据以冗余方式存储在多个设施和每个设施中的多个设备中（11个9，丢失的概率非常小）
- 不同的可用区之间复制，高可用（4个9的可用性）
- 适合的场景
  - 备份和还原
  - 数据湖中的结构化和非结构化的数据（用户分析）
  - 媒体存储与流式传输
  - 静态网站托管

![alt text](./figures/s3_url.png)

### 存储桶
- 存储桶放置了若干个对象
    - 存储桶（全球唯一）
    - 对象键（每一个对象一个url）
    - 访问有一定的限制
    - 存储同类型（每个对象可以定义存储类）
      - 标准（毫秒级访问）
        - 频繁访问：标准
        - 不频繁访问：标准-IA（infrequent access，存储便宜，但是检索费用高）
        - S3 One Zone-IA（单区IA，不频繁，只在一个可用区，不做跨可用区的副本，成本低）
        - 频繁的标准，如果一个月平均访问不到一次为不频繁访问，超过一次为频繁访问
      - 归档类别的存储桶（Glacier系列）
        - 几乎不太访问
        - 及时检索，还原事件毫秒级(instant retrieval)
        - 灵活检索，还原事件数分钟到数小时（flexible retrieval）
        - 深度归档，还原最长到12个小时（deep archive）
      - Amazon S3 Intelligent-Tiering
        - 对象智能的区分类别
          - 刚开始放在标准桶类
          - 如果30天没有被访问到，放到IA
          - 如果90天还没有被访问，放到及时归档
          - 动态归类，监控对象的访问（收取监控费用，费用不高）
      - 生命周期策略
        - 超过30天移动到标准IA
        - 自动化实现
        - 超过365天的对象的deep archive
        - 设置时间策略
      - 问题
        - 生命周期策略和intelligent-tiering的关系
      - 存储桶之间做复制

![1732930883439](./figures/storage_type.png)

![1732931885300](./figures/version_control.png)

### 保护对象
- 保护对象
  - Amazon S3访问控制
    - 存储桶策略（对数据的访问控制是基于策略的，如IAM策略，S3存储桶策略和AWS Organization服务控制策略（SCP)
    - json的访问策略语言编写存储桶策略
  - Amazon S3接入点
    - 共享数据集的大规模数据访问管理
    - 指定的网络终端节点，看用于执行S3对象操作
      - GetObject
      - PutObject
    - 接入点附加在存储桶上
    - 每个接入点都可以定义不同的权限和网络控制(如接入点配置为仅接受来自VPC的请求) 
    - 一名财务员工代入财务团队 IAM 角色，并向财务接入点发送 GetObject 请求。接入点策略允许该财务角色获取 doc-example-bucket 中具有前缀 /finance 和 /tax 的对象。对于 S3 存储桶中具有销售和营销前缀的对象或任何其他对象，该财务角色没有访问权限。S3 存储桶策略允许财务接入点访问您的存储桶。

![1732883467037](./figures/accesspoint_policy.png)

### 其他s3功能
- 其他s3功能
  - 分段上传
    - 加快上传速度
    - 某段可以重复上传
    - 超过100M，启动分段上传
    - 不能在控制台里操作，需要在cli下通过命令行的方式进行操作
  - 加速上传（transfer acceleration）
    - 客户端先到边缘站点再到s3存储同（边缘站点到s3存储同通过骨干网加速传输）
  - 事件通知
    - 桶里上传一个对象
    - 桶触发通知给lambda处理（事件通知）
    - lambda和另外桶关联存储结果

## 共享文件系统
- ebs附件到一个实例
- 对象存储
  
### EFS（Elastic File System）
- 无服务器服务
- 云中的nas
- 网络接口，挂载目标，ENI（弹性网络接口）
- 可以跨可用区

### FSx
- Windwos File Server
![1732933173789](./figures/FSx.png)

## 数据迁移工具
- 本地数据中心和云之间数据同步

![1732945091064](./figures/data_transfer_tools.png)

### 线上工具

#### Storage Gateway
- Amazon S3 File Gateway
- Amazon FSx File Gateway


![1732945331463](./figures/storage_gateway_arch.png)
  
#### AWS DataSync

![1732945444428](./figures/data_sync.png)

### 线下迁移工具
- AWS Snowcone
- Snowball Edge（存储量大）

![1732945484611](./figures/offline_sync.png)