Dateisysteme

High-Level-APIs

PyFilesystem

arbeitet mit Dateien und Verzeichnissen in Archiven, in Storages, in der Cloud usw.

Integrierte Dateisysteme:

• AppFS für in Betriebssystemen vordefinierte Speicherorte, in denen Anwendungen Daten speichern können

• FTPFS für die Arbeit mit FTP-Servern

• MemoryFS für Caches, temporäre Datenspeicher, Unit-Tests usw., die im Arbeitsspeicher existieren

• MountFS für ein virtuelles Dateisystem, das andere Dateisysteme einhängen kann

• MultiFS für ein virtuelles Dateisystem, das andere Dateisysteme kombiniert

• OSFS für das OS-Dateisystem

• TarFS liest und schreibt komprimierte Tar-Archive

• TempFS enthält temporäre Daten

• ZipFS ließt und schreibt Zip-Dateien

Dateisysteme der PyFilesystem Organisation auf GitHub:

• DropBoxFS

• S3FS

• WebDavFS

Dateisysteme von Drittentwicklern:

• fs_basespace für lesende Zugriffe auf den Illumina Basespace

• fs.dropboxfs für Dropbox

• fs.imapfs für Imap

• fs.googledrivefs für Google Drive

• fs.onedrivefs für OneDrive

• fs.smbfs für Samba

• fs.sshfs für SSH mit paramiko

• mp-fs-wsgidav für WsgiDAV

fsspec

Einheitliche Python-Schnittstelle für viele lokale, entfernte und eingebettete Dateisysteme und Byte-Storages. Wenn ihr in eurem Projekt z.B. bereits pandas, Intake, Dask oder DVC verwendet, ist fsspec bereits vorhanden.

Neben den integrierten Implementierungen gibt es auch viele Erweiterungen, z.B. für:

• abfs für den Azure Blob-Service

• adl für den Azure DataLake-Storage

• alluxiofs für den verteilten Cache von Alluxio

• boxfs für den Zugriff auf Box-Dateispeicher

• dropbox für den Zugriff auf Dropbox-Freigaben

• dvc für den Zugriff auf ein DVC-Repository als Dateisystem

• gcsfs für Google Cloud Storage

• gdrive für den Zugriff auf Google Drive und Freigaben

• huggingface_hub für den Zugriff auf das Hugging Face Hub Dateisystem

• lakefs für lakeFS Datalakes

• ocifs für den Zugriff auf den Oracle Cloud Object Storage

• ossfs für das Alibaba Cloud (Aliyun) Objektspeichersystem (OSS)

• p9fs für 9P-Server

• s3fs für Amazon S3 und andere kompatible Speicher.

• wandbfs für den Zugriff auf Wandb-Daten

• webdav4 für WebDAV

Siehe auch

Rclone ist ein Befehlszeilenprogramm zur Verwaltung von Dateien auf einem Cloud-Speicher. Es unterstützt mehr als 70 Cloud-Storages. Ein Beispiel für die Verwendung mit Python findet ihr in rclone.py.

Spezialisierte Bibliotheken

PyArrow

Apache Arrow Python Bindings für das Hadoop Distributed File System (HDFS) und weitere fsspec-kompatible Dateisysteme.

Siehe auch

Using fsspec-compatible filesystems with Arrow

paramiko

Python–Implementierung des SSHv2-Protokolls, die sowohl Client- als auch Serverfunktionen bietet. Sie bildet die Grundlage für die High-Level-SSH-Bibliothek Fabric.

boto3

AWS SDK für Python erleichtert die Integration in Amazon S3, Amazon EC2, Amazon DynamoDB und andere.

azure-storage-blob

Azure Storage Blobs client library für Python.

oss2

Python SDK für den Alibaba Cloud Object Storage.

minio

MinIO Python Client SDK für Amazon S3 kompatiblen Cloud-Speicher.

PyDrive2

Python Wrapper-Bibliothek des google-api-python-client, die viele gängige Google Drive API-Aufgaben vereinfacht.

Qcloud COSv5 SDK

Python SDK für den Tencent Cloud Object Storage (COS).

linode_api4

Python bindings für die Linode API v4.

airfs

bringt Standard-Python-I/O zu verschiedenen Storages (wie Alibaba Cloud OSS, Amazon Web Services S3, GitHub, Microsoft Azure Blobs Storage und Files Storage, OpenStack Swift/Object Store.

yandex-s3

Asyncio-kompatibles SDK für Yandex Object Storage.

Ruhende Projekte

PyDrive

Python Wrapper-Bibliothek des google-api-python-client, die viele gängige Google Drive API-Aufgaben vereinfacht.

digital-ocean-spaces

Python-Client für Digital Ocean Spaces mit einer eingebauten Shell.