Inhaltsübersicht

sprungmarken_marker_19477

Einbinden S3-Storage

Dokumentation unter \\sccfs.scc.kit.edu\OE\SCC\NET\FS-Team\Fileserver\SCC-Doku\ECS

API-Endpoint: 

- https://<your-namespace>.s3.scc.kit.edu:9021

Management-API:

- https://s3-mgmt.scc.kit.edu:443

Anwendungsbeispiele

Anwendungsbeispiele

Beispiel mit boto3:
python

import boto3

def get_connection():
    host = "https://s3-mgmt.scc.kit.edu:443"
    iam = boto3.client(
        'iam',
        aws_access_key_id='DEIN_ACCESS_KEY',
        aws_secret_access_key='DEIN_SECRET_KEY',
        endpoint_url=host,
        use_ssl=True,
        verify=False
    )
    return iam

# Beispiel: Benutzer erstellen
iam = get_connection()
print(iam.create_user(UserName='neuer_user'))
print(iam.create_access_key(UserName='neuer_user'))

2. Buckets verwalten
Schritt 1: Bucket erstellen
Mit boto3:
python

Einklappen

def get_s3_client():
    host = "https://<your-namespace>.s3.scc.kit.edu:9021"
    s3 = boto3.client(
        's3',
        aws_access_key_id='DEIN_ACCESS_KEY',
        aws_secret_access_key='DEIN_SECRET_KEY',
        endpoint_url=host,
        use_ssl=True,
        verify=False
    )
    return s3

s3 = get_s3_client()
response = s3.create_bucket(Bucket='mein_bucket')
print(response)
Schritt 2: Zugriffsrechte konfigurieren
Über die Management-API:
Zugriffsrechte können für Benutzer:innen und Gruppen über Rollen und ACLs gesteuert werden.
Beispiel:
python

# Beispiel: Bucket-Policy zuweisen (JSON-Format)
policy = {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {"AWS": "arn:aws:iam::namespace:user/username"},
            "Action": ["s3:GetObject", "s3:PutObject"],
            "Resource": "arn:aws:s3:::mein_bucket/*"
        }
    ]
}
s3.put_bucket_policy(Bucket='mein_bucket', Policy=json.dumps(policy))

3. Backups mit restic

export AWS_ACCESS_KEY_ID='DEIN_ACCESS_KEY'
export AWS_SECRET_ACCESS_KEY='DEIN_SECRET_KEY'
restic -r s3:https://<your-namespace>.s3repl.scc.kit.edu:9021/mein_bucket init
Backup durchführen:

restic -r s3:https://<your-namespace>.s3repl.scc.kit.edu:9021/mein_bucket backup /pfad/zu/daten --exclude "/pfad/zur/exclude"
Schritt 3: Daten wiederherstellen
Letzte Version wiederherstellen:

restic -r s3:https://<your-namespace>.s3repl.scc.kit.edu:9021/mein_bucket restore latest --target /zielpfad
Spezifische Version wiederherstellen:
bash