Naklonujte od nuly a zvládněte cloudové zálohy, šifrování a automatizaci

Rclone se stal švýcarským nožem cloudového úložiště Pro každého, kdo se chce přestat potýkat s průměrnými oficiálními klienty, vlastními skripty a absurdními omezeními poskytovatelů. S jediným binárním souborem a syntaxí velmi podobnou rsync můžete spravovat zálohy, synchronizace, připojení a šifrování napříč více než 70 službami: Google Drive, OneDrive, Dropbox, S3, Backblaze B2, Wasabi, pCloud, MEGA, Proton Drive, Nextcloud, WebDAV, SFTP... a mnoho dalších.

Krása Rclone spočívá v tom, že se neomezuje pouze na „kopírování souborů do cloudu“.Rozumí každému backendu, využívá API pro zvýšení rychlosti, umožňuje transparentní šifrování, montáž FUSE, plánování záloh a operace napříč cloudy bez přístupu k disku. Od notebooku s macOS nebo Raspberry Pi s malým diskem až po produkční server s kapacitou několika terabajtů – pokud rozumíte jejím komponentám, můžete si vytvořit robustní, šifrovanou a automatizovanou strategii zálohování.

Co je Rclone a proč je pro cloud zajímavější než rsync?

Rclone je open-source nástroj pro příkazový řádek. Rclone, navržený speciálně pro práci se vzdáleným a cloudovým úložištěm, se liší od rsync, který je zaměřen na lokální nebo vzdálené soubory přes SSH. Rclone rozumí API ze služeb jako Google Drive, S3 a Dropbox, spravuje jejich limity, kvóty a specifické funkce a nabízí příkazy na vysoké úrovni pro výpisování, kopírování, synchronizaci, připojování a poskytování obsahu.

Často se to popisuje jako „rsync pro cloud“.Ale ve skutečnosti jde mnohem dál: podporuje více než 70 poskytovatelů, integruje šifrovací vrstvy (backend) krypta), virtuální souborový systém (VFS) pro stabilní sestavy, modul chunker pro rozdělení velkých souborů a vrstvu abstrakce backendu, která umožňuje stejnému příkazu fungovat stejně na Disku Google, S3, B2 nebo SFTP.

Ve srovnání s rsync vyniká Rclone v několika ohledech.může využít vícevláknové přenosy (--multi-thread-streams a parametry --transfers / --checkersa obvykle dosahuje několikanásobně vyšších rychlostí, pokud úzkým hrdlem jsou cloudová API. Kromě toho rozumí konceptům jako odpadky, verze, denní kvóty a limity požadavků a poskytuje specifické příznaky pro optimalizaci každého poskytovatele bez jakéhokoli narušení.

Na úrovni interní architekturyJedná se o jeden binární soubor, který obsahuje jádro (Rclone Core) a několik vrstev: VFS pro připojení a ukládání do mezipaměti, Crypt pro šifrování na straně klienta, Chunker pro fragmentaci velkých souborů a sadu backendů, které implementují specifickou komunikaci s každou službou (S3/R2, Google Drive, B2, WebDAV, SFTP atd.). Tato modularita umožňuje kombinovat například vzdálený server S3 s vrstvou crypt a poté jej připojit pomocí FUSE.

Podporované úložné služby a typické případy použití

Katalog služeb podporovaných Rclone je obrovský.Je však užitečné získat rychlý přehled nejběžnějších, abyste si mohli zálohy správně uspořádat.

Pro každodenní uživatele Obvykle zdůrazňují:

Disk Google / Fotky Google: pro osobní a firemní účty, včetně sdílených disků (týmových disků).
Microsoft OneDrive a SharePoint: osobní i pracovní.
Dropbox, Box, MEGA, pCloud, Proton Drive: široce používané pro osobní zálohy, fotografie, dokumenty a malá úložiště.

V profesionálním a vývojovém prostředí Obvykle se úložiště pro objekty používá:

Amazon S3 a kompatibilní (MinIO, Wasabi, Ceph, Oracle atd.) pro zálohovací úložiště, statický a archivovaný obsah.
Cloudové úložiště Google, Azure Blob y Cloudflare R2 pokud se již v těchto ekosystémech nacházíte.
Backblaze B2 jako levná alternativa pro velké objemy nedostupných dat.

Pro samostatně hostované a domácí serveryRclone se velmi dobře hodí k:

SFTP/FTP proti jiným serverům.
WebDAV pro Nextcloud / ownCloud.
SMB / CIFS y HTTP když potřebujete integrovat NAS a webové servery.

Běžně používaným nápadem je kombinovat několik cloudů pomocí „Unie“.Vytvoříte si dálkové ovládání union: který zahrnuje například gdrive:, onedrive: y dropbox:a fungujete, jako by se jednalo o jeden obrovský souborový systém. Velmi užitečné pro využití bezplatných účtů nebo distribuci záloh mezi různými poskytovateli.

Požadavky, základní instalace a aktualizace

Rclone je lehký, ale ne magickýNa malém VPS nebo Raspberry Pi s malou pamětí RAM je důležité znát jeho požadavky, abyste se vyhnuli jeho zahlcení agresivními nastaveními nebo mnoha paralelními přenosy.

Na úrovni hardwaru a systému, jako rozumný odkaz:

Minimální RAM512 MB (2 GB nebo více pro připojení s agresivním ukládáním do mezipaměti VFS).
Procesor (CPU)1 vCPU stačí, ale s 2+ si paralelních přenosů lépe všimnete.
SkladováníBinární soubor zabírá málo místa, ale mezipaměť může v závislosti na parametrech potřebovat 1 GB nebo více.
JádroFunguje od verze 3.10 výše; s moderními jádry (5.4+) a FUSE3 běží sestavy plynuleji.

Co se týče instalace, máte několik možností. v závislosti na tom, co preferujete: pohodlí, kontrolu verzí nebo reprodukovatelnost.

Oficiální skript (Linux, doporučeno udržovat aktuální verzi):

curl -fsSL https://rclone.org/install.sh | sudo bash
rclone version

Ruční instalace s balíčkem .deb na Debianu/Ubuntu:

wget https://downloads.rclone.org/v1.71.0/rclone-v1.71.0-linux-amd64.deb
sudo dpkg -i rclone-v1.71.0-linux-amd64.deb
sudo apt -f install   # si pide dependencias

V systému macOS je Homebrew nejpohodlnější volbou.:

brew install rclone
rclone version --check

Ve Windows si můžete vybrat mezi instalačním programem, wingetem nebo Chocolatey.:

Stažení ZIP souboru a odchod rclone.exe en C:\rclone\ a jeho přidáním do Cesta.
S křidélkem:
winget install Rclone.Rclone
S čokoládou:
choco install rclone choco install winfsp (pro montáž jednotek)

Ve všech případech je aktualizace stejně jednoduchá jako běh:

rclone selfupdate

První kroky: koncept „vzdálené“ a interaktivní konfigurace

Základní jednotkou v Rclone je „dálkový ovladač“Konfigurační položka, která popisuje, jak se připojit ke konkrétní službě. Například gdrive: pro osobní Disk Google, s3-backup: pro kbelík S3 nebo nombre_en: pro zašifrovanou složku.

Vše je řízeno asistentem. rclone config, který ukládá výchozí nastavení do ~/.config/rclone/rclone.conf ve formátu INI. Ten soubor je k nezaplacení: povinná záloha (a ještě lépe, zašifrování).

Rychlý příklad: vytvoření vzdáleného přístupového bodu Disku Google na počítači s prohlížečem:

rclone config
# n) New remote
# name> gdrive
# Storage> drive
# client_id>      (vacío para usar el cliente por defecto de rclone)
# client_secret> (vacío)
# scope> 1       (acceso completo)
# service_account_file>  (vacío)
# Edit advanced config? n
# Use auto config? y   (abre el navegador, inicias sesión y aceptas permisos)

Na serveru bez grafického prostředí se film trochu změní.Když se vás systém zeptá, zda chcete použít automatické nastavení, zvolte nZobrazí se vám příkaz podobný tomuto:

rclone authorize "drive"

Tento příkaz spustíte na svém stolním počítači., pokud máte prohlížeč, autorizujete účet a zkopírujete výsledný JSON token, abyste jej po zobrazení výzvy vložili na server (config_token> {...}). Díky tomu máte funkční vzdálený ovladač, i když je server bezhlavý.

Příklad z reálného života: neomezený a šifrovaný sdílený Disk Google

Chvíli kolovaly odkazy na vytváření „neomezených“ sdílených disků na Disku Google. spojené s univerzitami a podobnými institucemi. Ti, kteří tento trik využili, je často používají jako „studnu“ pro odesílání velkých objemů multimediálních dat ze svého serveru nebo Raspberry Pi.

Typický pracovní postup pro použití jedné z těchto jednotek s Rclone Je to:

Získejte ID sdíleného disku zadáním přes prohlížeč a zkopírováním poslední části URL adresy (něco jako 0AKXXD2qTbW50Uk9PVA).
Vytvořte normální vzdálený ovladač Disku Google (Storage> drive) a v terénu root_folder_id>, vložte tento identifikátor.
Když se Rclone zeptá, zda má s daným diskem zacházet jako s týmovým diskem, odpovězte ano a vyberte daný disk.

Jakmile máte přístup k tomuto disku, dalším logickým krokem je jeho zašifrování.Protože vlastně nevíte, kdo další by mohl tato data vidět na druhém konci. A tady přichází na řadu backend. krypta.

Vytvořte šifrovanou vrstvu nad sdíleným diskem Bylo by to něco takového:

Znovu rclone config → Nový dálkový ovladač → například jméno nombre_en.
Vyberte si Úložiště > krypta.
En remote> dát nombre: o nombre:carpeta/, což je předchozí vzdálený ovladač (ten z Disku) ukazující na složku.
Vybrat šifrování_názevu_souboru = standardní y šifrování_název_adresáře = true takže názvy souborů a adresářů jsou také zahaleny do obfuskace.
Vygenerujte jedno nebo dvě silná hesla (password a salt), buď ručně, nebo pomocí vestavěného generátoru.

Od té doby vše, co nahrajete do nombre_en: bude šifrováno A na webu Disku Google uvidíte podivné a nečitelné názvy. Pouze Rclone s těmito klíči je dokáže přeložit zpět.

Základní příkazy: seznam, kopírování, synchronizace a odstranění

Obecná syntaxe Rclone je docela konzistentní.: rclone <subcomando> origen destino [flags]Trik spočívá v internalizaci několika příkazů a několika klíčových voleb.

Prozkoumání vzdáleného a obsahu ty máš:

rclone listremotes: zobrazí všechny nakonfigurované dálkové ovladače.
rclone ls remote:: seznam souborů s uvedenou velikostí.
rclone lsd remote:pouze adresáře/buckety.
rclone tree remote: o rclone tree remote:carpeta -d vidět stromovitou strukturu.
rclone ncdu remote:typ rozhraní ncdu vidět velikost všeho, aniž byste se ztratili.

Kopírování bez smazání čehokoli v cíli Je vyroben s copy:

# Local → nube
rclone copy /home/usuario/fotos drive:fotos/verano -P

# Nube → local
rclone copy gdrive:Documentos/ ~/Documentos/ -P

# Nube → nube (server-side cuando el backend lo permite)
rclone copy gdrive:proyecto/ s3-backup:proyecto/ -P

Synchronizace (zrcadlení) se provádí pomocí syncA tady musíme být opatrní.protože odstraňuje z cíle to, co již není v původu:

# Sincronización unidireccional
rclone sync /srv/data onedrive:data -P

# Simulación sin tocar nada
rclone sync /srv/data onedrive:data --dry-run

Pro úklidové operace Existuje několik užitečných příkazů:

rclone delete remote:carpeta: smaže soubory z cesty, opouští adresáře.
rclone purge remote:carpeta: smaže cestu a veškerý její obsah.
rclone rmdirs remote: --leave-root: smaže prázdné adresáře.
rclone cleanup drive:vyprázdnit koš (například na Disku Google).

Nejdůležitější křížové vlajky Ty, které budete používat neustále, jsou:

-P o --progress abych viděl pokrok.
-v, -vv y --log-level pro zvýšení výřečnosti.
--transfers N y --checkers N pro kontrolu paralelismu.
--bwlimit omezit šířku pásma, a to i časovými sloty ("08:00,1M 18:00,off").
--include, --exclude y --filter-from doladit, co se kopíruje.

Připojte cloud, jako by to byl jiný disk (FUSE / VFS)

Jednou z hlavních funkcí Rclone je připojování vzdálených zařízení jako souborových systémů.Je to neuvěřitelně užitečné pro Plex/Jellyfin, pro práci přímo s dokumenty, které máte na Disku, nebo pro zpřístupnění úložiště S3 aplikaci, která neumí S3 používat.

V Linuxu potřebujete nainstalovaný a povolený FUSE3. allow_other en /etc/fuse.conf aby k připojení měli přístup i ostatní uživatelé. Ve Windows se spoléhá na WinFsp.

Příklad montáže v Linuxu:

mkdir -p /mnt/gdrive
rclone mount gdrive: /mnt/gdrive \
  --daemon \
  --allow-other \
  --vfs-cache-mode full \
  --vfs-cache-max-size 20G \
  --dir-cache-time 48h \
  --log-file /var/log/rclone/gdrive.log \
  --log-level INFO

Parametr --vfs-cache-mode Označte rozdíl chování:

offbez mezipaměti; pouze pro jednoduché čtení.
minimálníJen tolik, aby to fungovalo.
píše: ukládá zápisy do mezipaměti, dokud nebudou nahrány.
plně: ukládá do mezipaměti čtení a zápis; ideální pro multimédia, kancelářské aplikace atd., za cenu většího místa na disku.

Pokud chcete, aby nastavení přežilo restartováníObvyklou praxí je vytvoření specializované služby systemd. Běžně používaným vzorem je parametrizovaná služba. rclone-remote@.service který připevní jakýkoli dálkový ovladač /cloud/<nombre> a poté jej aktivujte pomocí:

sudo systemctl enable --now rclone-gdrive.service

Ve Windows připojte OneDrive nebo Disk jako písmeno X:

rclone mount onedrive: X: --vfs-cache-mode full

Pokročilé šifrování s backendem kryptu a zabezpečením konfigurace

Pokud je třeba u Rclone brát jednu věc vážně, je to bezpečnost.soubor rclone.conf Obsahuje tokeny OAuth, přístupové klíče S3, šifrovaná hesla… a kdokoli, kdo ho zkopíruje, má v praxi přístup k vašim cloudům.

zadní konec crypt Umožňuje šifrovat soubory, názvy souborů a názvy adresářů. transparentně. Při konfiguraci si vyberete:

dálkový: podkladový backend (například gdrive:encrypted).
šifrování_názevu_souboru: off, standard u obfuscate.
šifrování_název_adresáře: pravda/nepravda.
heslo y password2 (volitelně sůl).

Výsledná konfigurace vypadá takto (shrnující se):

[gdrive-crypt]
type = crypt
remote = gdrive:encrypted/
password = ENCRYPTED_PASSWORD_HASH
password2 = ENCRYPTED_SALT_HASH
filename_encryption = standard
directory_name_encryption = true

Rclone vám také umožňuje šifrovat váš vlastní konfigurační soubortakže i když ho někdo ukradne, nebude si moci přečíst tajné údaje bez hlavního hesla:

rclone config password
# te pedirá una contraseña y a partir de ese momento
# Rclone te la pedirá en cada ejecución

Automatizace skriptů bez nutnosti zadávat heslo V cronu nebo systemd můžete použít proměnnou prostředí RCLONE_CONFIG_PASS nebo malý skript, který jej exportuje čtením z chráněného souboru (root vlastník, oprávnění 600) nebo ze správce tajných klíčů:

export RCLONE_CONFIG_PASS="contraseña_muy_larga"
rclone lsd gdrive: --ask-password=false

Optimalizace výkonu: velké soubory, mnoho malých souborů a omezení

Ve výchozím nastavení funguje Rclone docela dobře, ale s několika úpravami z něj můžete vytěžit mnohem více.zejména při přesunu terabajtů dat nebo milionů malých souborů.

Pro velké soubory (obrazy virtuálních počítačů, komprimované zálohy, dlouhá videa) je důležité zvětšit velikost fragmentů a paralelismus:

rclone copy backup.tar.gz gdrive:backups \
  --drive-chunk-size=256M \
  --transfers=8 \
  --progress

Pro mnoho malých souborů (fotografie, logy, statické stránky) počet dám a převodů je důležitější a použijte --fast-list Pokud to RAM dovolí:

rclone copy fotos/ onedrive:fotos/ \
  --transfers=32 \
  --checkers=16 \
  --fast-list \
  --progress

Kdy je nutné respektovat omezení šířky pásma nebo API (jako je slavný limit nahrávání na Disk Google 750 GB/den nebo limity požadavků za sekundu), máte k dispozici nástroje jako:

--bwlimit "08:00,1M 18:00,off" během pracovní doby jít pomalu a v noci otevírat kohoutek.
--tpslimit y --tpslimit-burst aby obsahoval chyby 403 „překročení limitu rychlosti“.

Automatizujte zálohy: cron, systemd a plné skripty

Vytvořte rclone copy Manuál je na testování v pořádku.Zajímavé ale je naplánování opakovaných záloh s protokoly, rotací verzí a upozorněními, když se něco pokazí.

V Linuxu je nejjednodušší použít cronNapříklad pro spuštění synchronizace dokumentů s Diskem Google každou noc ve 2:00:

crontab -e

0 2 * * * /usr/bin/rclone sync /home/user/documents gdrive:backup \
  --log-file=/var/log/rclone-backup.log --log-level=INFO

Když chcete něco vážnějšího, s funkcí zámku, pozastavení a oznámenímiVyplatí se mít specializovaný skript. Typické schéma zahrnuje:

Proměnné s původem, cílem, limity šířky pásma a dny uchování.
Použití flock nebo lockfile, který zabraňuje současným instancím.
Použití --backup-dir a přípony .bak pro verzování.
Vyčištění starých záloh pomocí --min-age y --rmdirs.
Volitelné odesílání oznámení na Slack/Discord/Email v případě selhání.

Pokud dáváte přednost systemd před cronem, můžete definovat rclone-backup.service který spustí skript a rclone-backup.timer která označuje kadenci (například ve 2:00 malou náhodnou značkou, aby se ne vždy shodovala).

Grafická rozhraní a použití z Androidu

Ne každý je spokojený s příkazovým řádkemA pro určité úkoly (prozkoumávání obsahu, kontrola, zda je něco tam, kde má být) může grafické uživatelské rozhraní ušetřit čas.

Rclone přináší oficiální webové grafické rozhraní (experimentální, ale funkční), které se zvyšuje s:

rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
# luego abres http://localhost:5572 en el navegador

Kromě toho existují grafická uživatelská rozhraní třetích stran, jako je Rclone Browser nebo moderní forky jako „Rclone UI“Tyto nástroje umožňují přetahování, plánování úloh z okna a sledování průběhu vizuálně atraktivním způsobem. V Linuxu je můžete nainstalovat z repozitářů nebo použít AppImage; existují také obrazy Dockeru, které zpřístupňují rozhraní na portu HTTP.

V systému Android je trik v tom, že soubor znovu použijete rclone.confMnoho klientských aplikací Rclone umožňuje import (nebo umístění do složky) rclone/ (v interní paměti) a odtud máte přístup ke všem definovaným vzdáleným ovladačům stejně jako na serveru. Ideální pro streamování šifrovaného multimediálního obsahu z mobilního zařízení.

Řešení běžných problémů a diagnostika

Práce s cloudovými API znamená řešení chyb ověřování a omezení služeb.Vědět, jak zprávu číst, a mít po ruce odpovídající příznak, ušetří spoustu problémů.

Chyby ověřování („nepodařilo se vytvořit klienta OAuth“ nebo tokeny s vypršenou platností) Obvykle se opravují pomocí:

rclone config reconnect remote: obnovit pověřovací listiny.
V extrémních případech smažte dálkový ovladač a nakonfigurujte jej od začátku.

Chyby 403 pro limit rychlosti, zejména na Disku GoogleSnižují se snížením agresivity:

rclone copy source: dest: \
  --transfers 2 --checkers 4 \
  --tpslimit 2 --tpslimit-burst 0

Pokud držák FUSE vrátí chybu „permission denied“ (oprávnění zamítnuto), zkontrolujte:

Co v /etc/fuse.conf možnost user_allow_other je nekomentováno.
S čím jezdíš? --allow-other a příslušného uživatele.

Pokud máte podezření, že po synchronizaci chybí souboryZdravé je:

Už jsem to dříve zkusil/a s --dry-run.
Usar rclone check origen destino --one-way a zkontrolujte souhrnnou zprávu.
Zkontrolujte vzory --exclude / --include že možná prozradili víc, než měli.

Pro jemné rafinování, -vv a vlajky --dump headers / --dump bodies Zobrazují HTTP požadavky provedené službou Rclone a rclone backend features remote: o rclone test Pomáhají přesně zjistit, co který backend podporuje a jak připojení funguje.

Rclone vám v konečném důsledku umožňuje připojit cokoli od skromné zálohy složky Dokumenty v Dropboxu až po multicloudový replikační systém se šifrováním, trvalým připojováním a monitorováním pomocí Prometheusu.Učební křivka může být zpočátku trochu zastrašující, ale jakmile ji zvládnete rclone config, copy, sync, mount y cryptZbytek je přidání vrstev: automatizace pomocí cronu nebo systemd, pokročilé filtrování, podrobné protokoly a drobné úpravy výkonu pro přizpůsobení vašemu síťovému a cloudovému prostředí. Jakmile všechny tyto prvky spojíte dohromady, přestane být „jen dalším konzolovým nástrojem“ a stane se tichým pilířem, který chrání vaše data, je šifruje a zůstane redundantní, aniž byste na to museli každý den myslet.