Naklonujte od nuly a zvládněte cloudové zálohy, šifrování a automatizaci

Rclone se stal švýcarským nožem mezi cloudovými úložišti pro každého, kdo se chce přestat potýkat s průměrnými oficiálními klienty, vlastními skripty a absurdními omezeními poskytovatelů. S jediným binárním souborem a syntaxí velmi podobnou rsync můžete spravovat zálohy, synchronizace, připojení a šifrování napříč více než 70 službami: Google Drive , OneDrive, Dropbox, S3, Backblaze B2, Wasabi, pCloud, MEGA, Proton Drive, Nextcloud, WebDAV, SFTP… a mnoha dalšími.

Krása Rclone spočívá v tom, že nejen „kopíruje soubory do cloudu“ : rozumí každému backendu, využívá API pro zvýšení rychlosti, umožňuje transparentní šifrování, montáž FUSE, plánování záloh a operace napříč cloudy bez přístupu k pevnému disku. Od notebooku s macOS nebo Raspberry Pi s malým pevným diskem až po produkční server s kapacitou několika terabajtů – pokud rozumíte jeho komponentám, můžete nastavit robustní, šifrovanou a automatizovanou strategii zálohování.

Co je Rclone a proč je pro cloud zajímavější než rsync?

Rclone je open-source nástroj příkazového řádku určený speciálně pro práci se vzdálenými a cloudovými úložišti. Na rozdíl od rsync, který je zaměřen na lokální nebo vzdálené soubory přes SSH, Rclone rozumí API ze služeb jako Google Drive, S3 a Dropbox, spravuje jejich limity, kvóty a specifické funkce a nabízí příkazy na vysoké úrovni pro výpisování, kopírování, synchronizaci, připojování a poskytování obsahu.

Často se označuje jako „rsync pro cloud“ , ale ve skutečnosti jde mnohem dál: podporuje více než 70 poskytovatelů, integruje šifrovací vrstvy (backend crypt ), virtuální souborový systém ( VFS ) pro stabilní připojení, modul chunkeru pro dělení velkých souborů a vrstvu abstrakce backendu, která umožňuje, aby stejný příkaz fungoval stejně na Google Drive, S3, B2 nebo SFTP.

Ve srovnání s rsync vyniká Rclone v několika ohledech.může využít vícevláknové přenosy (--multi-thread-streams a parametry --transfers / --checkersa obvykle dosahuje několikanásobně vyšších rychlostí, pokud úzkým hrdlem jsou cloudová API. Kromě toho rozumí konceptům jako odpadky, verze, denní kvóty a limity požadavků a poskytuje specifické příznaky pro optimalizaci každého poskytovatele bez jakéhokoli narušení.

Na úrovni interní architektury se jedná o jeden binární soubor, který obsahuje jádro (Rclone Core) a několik vrstev: VFS pro připojení a ukládání do mezipaměti, Crypt pro šifrování na straně klienta, Chunker pro fragmentaci velkých souborů a sadu backendů, které implementují specifickou komunikaci s každou službou (S3/R2, Google Drive, B2, WebDAV, SFTP atd.). Tato modularita umožňuje kombinovat například vzdálený server S3 s vrstvou crypt a poté jej připojit pomocí FUSE.

Podporované úložné služby a typické případy použití

Katalog služeb podporovaných službou Rclone je obrovský , ale pro správnou organizaci záloh je užitečné získat rychlý přehled o těch nejběžnějších.

Pro „průměrné“ uživatele se obvykle zvýrazňují následující:

Disk Google / Fotky Google: pro osobní a firemní účty, včetně sdílených disků (týmových disků).
Microsoft OneDrive a SharePoint: osobní i pracovní.
Dropbox, Box, MEGA, pCloud, Proton Drive: široce používané pro osobní zálohy, fotografie, dokumenty a malá úložiště.

V profesionálním a vývojářském prostředí je běžné používat objektové úložiště:

Amazon S3 a kompatibilní (MinIO, Wasabi, Ceph, Oracle atd.) pro zálohovací úložiště, statický a archivovaný obsah.
Cloudové úložiště Google, Azure Blob y Cloudflare R2 pokud se již v těchto ekosystémech nacházíte.
Backblaze B2 jako levná alternativa pro velké objemy nedostupných dat.

Pro self-hosting a domácí servery se Rclone velmi dobře hodí k:

SFTP/FTP proti jiným serverům.
WebDAV pro Nextcloud / ownCloud.
SMB / CIFS y HTTP když potřebujete integrovat NAS a webové servery.

Běžně používaným nápadem je kombinovat několik cloudů pomocí „Unie“.Vytvoříte si dálkové ovládání union: který zahrnuje například gdrive:, onedrive: y dropbox:a fungujete, jako by se jednalo o jeden obrovský souborový systém. Velmi užitečné pro využití bezplatných účtů nebo distribuci záloh mezi různými poskytovateli.

Požadavky, základní instalace a aktualizace

Rclone je lehký, ale ne magický : na malém VPS nebo Raspberry Pi s malou pamětí RAM je důležité znát jeho požadavky, abyste se vyhnuli jeho zahlcení agresivními nastaveními nebo mnoha paralelními přenosy.

Na úrovni hardwaru a systému , jako rozumná reference:

Minimální RAM512 MB (2 GB nebo více pro připojení s agresivním ukládáním do mezipaměti VFS).
Procesor (CPU)1 vCPU stačí, ale s 2+ si paralelních přenosů lépe všimnete.
SkladováníBinární soubor zabírá málo místa, ale mezipaměť může v závislosti na parametrech potřebovat 1 GB nebo více.
JádroFunguje od verze 3.10 výše; s moderními jádry (5.4+) a FUSE3 běží sestavy plynuleji.

Pokud jde o instalaci, máte několik možností v závislosti na vašich preferencích: pohodlí, správa verzí nebo reprodukovatelnost.

Oficiální skript (Linux, doporučeno udržovat aktuální) :

curl -fsSL https://rclone.org/install.sh | sudo bash
rclone version

Ruční instalace pomocí balíčku .deb na Debianu/Ubuntu :

wget https://downloads.rclone.org/v1.71.0/rclone-v1.71.0-linux-amd64.deb
sudo dpkg -i rclone-v1.71.0-linux-amd64.deb
sudo apt -f install   # si pide dependencias

V systému macOS je Homebrew nejpohodlnější volbou :

brew install rclone
rclone version --check

Ve Windows si můžete vybrat mezi instalačním programem, wingetem nebo Chocolatey :

Stažení ZIP souboru a odchod rclone.exe en C:\rclone\ a jeho přidáním do Cesta.
S křidélkem:
winget install Rclone.Rclone
S čokoládou:
choco install rclone choco install winfsp (pro montáž jednotek)

Ve všech případech je aktualizace stejně jednoduchá jako spuštění:

rclone selfupdate

První kroky: koncept „vzdálené“ a interaktivní konfigurace

Základní jednotkou v Rclone je „dálkový ovladač“Konfigurační položka, která popisuje, jak se připojit ke konkrétní službě. Například gdrive: pro osobní Disk Google, s3-backup: pro kbelík S3 nebo nombre_en: pro zašifrovanou složku.

Vše je řízeno asistentem. rclone config, který ukládá výchozí nastavení do ~/.config/rclone/rclone.conf ve formátu INI. Ten soubor je k nezaplacení: povinná záloha (a ještě lépe, zašifrování).

Rychlý příklad: vytvoření vzdáleného ovladače Disku Google na počítači s prohlížečem :

rclone config
# n) New remote
# name> gdrive
# Storage> drive
# client_id>      (vacío para usar el cliente por defecto de rclone)
# client_secret> (vacío)
# scope> 1       (acceso completo)
# service_account_file>  (vacío)
# Edit advanced config? n
# Use auto config? y   (abre el navegador, inicias sesión y aceptas permisos)

Na serveru bez grafického prostředí se proces mírně liší . Když se vás systém zeptá, zda chcete použít automatickou konfiguraci, a zvolíte „n“ , zobrazí se příkaz podobný tomuto:

rclone authorize "drive"

Tento příkaz spustíte na svém stolním počítači., pokud máte prohlížeč, autorizujete účet a zkopírujete výsledný JSON token, abyste jej po zobrazení výzvy vložili na server (config_token> {...}). Díky tomu máte funkční vzdálený ovladač, i když je server bezhlavý.

Příklad z reálného života: neomezený a šifrovaný sdílený Disk Google

Chvíli kolovaly odkazy na vytváření „neomezených“ sdílených disků na Disku Google spojených s univerzitami a podobnými institucemi. Ti, kteří tohoto triku využili, je obvykle používali jako „úložiště“ pro odesílání velkých objemů multimediálních dat ze svého serveru nebo Raspberry Pi.

Typický pracovní postup pro použití jedné z těchto jednotek s Rclone je:

Získejte ID sdíleného disku zadáním přes prohlížeč a zkopírováním poslední části URL adresy (něco jako 0AKXXD2qTbW50Uk9PVA).
Vytvořte normální vzdálený ovladač Disku Google (Storage> drive) a v terénu root_folder_id>, vložte tento identifikátor.
Když se Rclone zeptá, zda má s daným diskem zacházet jako s týmovým diskem, odpovězte ano a vyberte daný disk.

Jakmile máte k tomuto disku přístup, dalším logickým krokem je jeho zašifrování , protože ve skutečnosti nevíte, kdo další by mohl tato data na druhém konci vidět. A zde přichází na řadu backend pro kryptování.

Vytvoření šifrované vrstvy na tomto sdíleném disku by vypadalo nějak takto:

Znovu rclone config → Nový dálkový ovladač → například jméno nombre_en.
Vyberte si Úložiště > krypta.
En remote> dát nombre: o nombre:carpeta/, což je předchozí vzdálený ovladač (ten z Disku) ukazující na složku.
Vybrat šifrování_názevu_souboru = standardní y šifrování_název_adresáře = true takže názvy souborů a adresářů jsou také zahaleny do obfuskace.
Vygenerujte jedno nebo dvě silná hesla (password a salt), buď ručně, nebo pomocí vestavěného generátoru.

Od té doby vše, co nahrajete do nombre_en: bude šifrováno A na webu Disku Google uvidíte podivné a nečitelné názvy. Pouze Rclone s těmito klíči je dokáže přeložit zpět.

Základní příkazy: seznam, kopírování, synchronizace a odstranění

Obecná syntaxe Rclone je docela konzistentní.: rclone <subcomando> origen destino [flags]Trik spočívá v internalizaci několika příkazů a několika klíčových voleb.

Pro prozkoumání vzdálených míst a obsahu máte k dispozici:

rclone listremotes: zobrazí všechny nakonfigurované dálkové ovladače.
rclone ls remote:: seznam souborů s uvedenou velikostí.
rclone lsd remote:pouze adresáře/buckety.
rclone tree remote: o rclone tree remote:carpeta -d vidět stromovitou strukturu.
rclone ncdu remote:typ rozhraní ncdu vidět velikost všeho, aniž byste se ztratili.

Kopírování bez smazání čehokoli v cíli Je vyroben s copy:

# Local → nube
rclone copy /home/usuario/fotos drive:fotos/verano -P

# Nube → local
rclone copy gdrive:Documentos/ ~/Documentos/ -P

# Nube → nube (server-side cuando el backend lo permite)
rclone copy gdrive:proyecto/ s3-backup:proyecto/ -P

Synchronizace (zrcadlení) se provádí pomocí syncA tady musíme být opatrní.protože odstraňuje z cíle to, co již není v původu:

# Sincronización unidireccional
rclone sync /srv/data onedrive:data -P

# Simulación sin tocar nada
rclone sync /srv/data onedrive:data --dry-run

Pro čištění existuje několik užitečných příkazů:

rclone delete remote:carpeta: smaže soubory z cesty, opouští adresáře.
rclone purge remote:carpeta: smaže cestu a veškerý její obsah.
rclone rmdirs remote: --leave-root: smaže prázdné adresáře.
rclone cleanup drive:vyprázdnit koš (například na Disku Google).

Nejdůležitější křížové příznaky , které budete v průběhu používat, jsou:

-P o --progress abych viděl pokrok.
-v, -vv y --log-level pro zvýšení výřečnosti.
--transfers N y --checkers N pro kontrolu paralelismu.
--bwlimit omezit šířku pásma, a to i časovými sloty ("08:00,1M 18:00,off").
--include, --exclude y --filter-from doladit, co se kopíruje.

Připojte cloud, jako by to byl jiný disk (FUSE / VFS)

Jednou z vynikajících funkcí Rclone je připojování vzdálených zařízení jako souborových systémů . To je neuvěřitelně užitečné pro Plex/Jellyfin, pro přímou práci s dokumenty uloženými na Disku nebo pro zpřístupnění úložiště S3 aplikaci, která S3 nerozumí.

V Linuxu potřebujete nainstalovaný a povolený FUSE3. allow_other en /etc/fuse.conf aby k připojení měli přístup i ostatní uživatelé. Ve Windows se spoléhá na WinFsp.

Příklad montáže v Linuxu :

mkdir -p /mnt/gdrive
rclone mount gdrive: /mnt/gdrive \
  --daemon \
  --allow-other \
  --vfs-cache-mode full \
  --vfs-cache-max-size 20G \
  --dir-cache-time 48h \
  --log-file /var/log/rclone/gdrive.log \
  --log-level INFO

Parametr --vfs-cache-mode Označte rozdíl chování:

offbez mezipaměti; pouze pro jednoduché čtení.
minimálníJen tolik, aby to fungovalo.
píše: ukládá zápisy do mezipaměti, dokud nebudou nahrány.
plně: ukládá do mezipaměti čtení a zápis; ideální pro multimédia, kancelářské aplikace atd., za cenu většího místa na disku.

Pokud chcete, aby nastavení přežilo restartováníObvyklou praxí je vytvoření specializované služby systemd. Běžně používaným vzorem je parametrizovaná služba. [email protected] který připevní jakýkoli dálkový ovladač /cloud/<nombre> a poté jej aktivujte pomocí:

sudo systemctl enable --now rclone-gdrive.service

Ve Windows připojte OneDrive nebo Disk jako písmeno X:

rclone mount onedrive: X: --vfs-cache-mode full

Pokročilé šifrování s backendem kryptu a zabezpečením konfigurace

Pokud je třeba u Rclone brát jednu věc vážně, je to bezpečnost.soubor rclone.conf Obsahuje tokeny OAuth, přístupové klíče S3, šifrovaná hesla… a kdokoli, kdo ho zkopíruje, má v praxi přístup k vašim cloudům.

zadní konec crypt Umožňuje šifrovat soubory, názvy souborů a názvy adresářů. transparentně. Při konfiguraci si vyberete:

dálkový: podkladový backend (například gdrive:encrypted).
šifrování_názevu_souboru: off, standard u obfuscate.
šifrování_název_adresáře: pravda/nepravda.
heslo y password2 (volitelně sůl).

Výsledná konfigurace vypadá takto (shrnující se) :

[gdrive-crypt]
type = crypt
remote = gdrive:encrypted/
password = ENCRYPTED_PASSWORD_HASH
password2 = ENCRYPTED_SALT_HASH
filename_encryption = standard
directory_name_encryption = true

Rclone vám také umožňuje zašifrovat váš vlastní konfigurační soubor , takže i když ho někdo ukradne, nemůže si přečíst tajné údaje bez hlavního hesla:

rclone config password
# te pedirá una contraseña y a partir de ese momento
# Rclone te la pedirá en cada ejecución

Automatizace skriptů bez nutnosti zadávat heslo V cronu nebo systemd můžete použít proměnnou prostředí RCLONE_CONFIG_PASS nebo malý skript, který jej exportuje čtením z chráněného souboru (root vlastník, oprávnění 600) nebo ze správce tajných klíčů:

export RCLONE_CONFIG_PASS="contraseña_muy_larga"
rclone lsd gdrive: --ask-password=false

Optimalizace výkonu: velké soubory, mnoho malých souborů a omezení

Ve výchozím nastavení funguje Rclone docela dobře, ale s několika úpravami z něj můžete vytěžit mnohem více , zejména při přesunu terabajtů dat nebo milionů malých souborů.

U velkých souborů (obrazy virtuálních počítačů, komprimované zálohy, dlouhá videa) je vhodné zvětšit velikost fragmentů a paralelismus:

rclone copy backup.tar.gz gdrive:backups \
  --drive-chunk-size=256M \
  --transfers=8 \
  --progress

Pro mnoho malých souborů (fotografie, logy, statické stránky) počet dám a převodů je důležitější a použijte --fast-list Pokud to RAM dovolí:

rclone copy fotos/ onedrive:fotos/ \
  --transfers=32 \
  --checkers=16 \
  --fast-list \
  --progress

Pokud musíte respektovat omezení šířky pásma nebo API (jako je slavný limit nahrávání na Disk Google 750 GB/den nebo limity požadavků za sekundu), máte k dispozici nástroje jako:

--bwlimit "08:00,1M 18:00,off" během pracovní doby jít pomalu a v noci otevírat kohoutek.
--tpslimit y --tpslimit-burst aby obsahoval chyby 403 „překročení limitu rychlosti“.

Automatizujte zálohy: cron, systemd a plné skripty

Vytvořte rclone copy Manuál je na testování v pořádku.Zajímavé ale je naplánování opakovaných záloh s protokoly, rotací verzí a upozorněními, když se něco pokazí.

V Linuxu je nejjednodušším řešením použití cron . Například pro spuštění synchronizace dokumentů s Diskem Google každou noc ve 2:00 ráno:

crontab -e

0 2 * * * /usr/bin/rclone sync /home/user/documents gdrive:backup \
  --log-file=/var/log/rclone-backup.log --log-level=INFO

Pokud chcete něco robustnějšího, s blokováním, pozastavením a oznámeními , vyplatí se mít specializovaný skript. Typické schéma zahrnuje:

Proměnné s původem, cílem, limity šířky pásma a dny uchování.
Použití flock nebo lockfile, který zabraňuje současným instancím.
Použití --backup-dir a přípony .bak pro verzování.
Vyčištění starých záloh pomocí --min-age y --rmdirs.
Volitelné odesílání oznámení na Slack/Discord/Email v případě selhání.

Pokud dáváte přednost systemd před cronem, můžete definovat rclone-backup.service který spustí skript a rclone-backup.timer která označuje kadenci (například ve 2:00 malou náhodnou značkou, aby se ne vždy shodovala).

Grafická rozhraní a použití z Androidu

Ne každý je spokojený s příkazovým řádkem a pro určité úkoly (procházení obsahu, kontrola, zda je něco tam, kde má být) může grafické uživatelské rozhraní ušetřit čas.

Rclone přináší oficiální (experimentální, ale funkční) webové grafické rozhraní, které začíná:

rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
# luego abres http://localhost:5572 en el navegador

Kromě toho existují grafická uživatelská rozhraní třetích stran, jako je Rclone Browser nebo moderní forky, jako například „Rclone UI “, které umožňují drag and drop, plánování úloh z okna a vizuální zobrazení průběhu. V Linuxu je můžete nainstalovat z repozitářů nebo použít AppImage; existují také obrazy Dockeru, které zpřístupňují rozhraní na HTTP portu.

V systému Android je trik v tom, že soubor znovu použijete rclone.confMnoho klientských aplikací Rclone umožňuje import (nebo umístění do složky) rclone/ (v interní paměti) a odtud máte přístup ke všem definovaným vzdáleným ovladačům stejně jako na serveru. Ideální pro streamování šifrovaného multimediálního obsahu z mobilního zařízení.

Řešení běžných problémů a diagnostika

Práce s cloudovými API znamená řešení chyb ověřování a limitů služeb . Vědět, jak zprávu číst, a mít po ruce příslušný příznak, ušetří spoustu problémů.

Chyby ověřování („nepodařilo se vytvořit klienta OAuth“ nebo tokeny s vypršenou platností) se obvykle opravují pomocí:

rclone config reconnect remote: obnovit pověřovací listiny.
V extrémních případech smažte dálkový ovladač a nakonfigurujte jej od začátku.

Chyby 403, zejména na Disku Google , se snižují snížením agresivity:

rclone copy source: dest: \
  --transfers 2 --checkers 4 \
  --tpslimit 2 --tpslimit-burst 0

Pokud připojení FUSE vrátí „permission denied“ (oprávnění odepřeno) , zkontrolujte:

Co v /etc/fuse.conf možnost user_allow_other je nekomentováno.
S čím jezdíš? --allow-other a příslušného uživatele.

Pokud máte podezření, že po synchronizaci chybí soubory , nejlepším postupem je:

Už jsem to dříve zkusil/a s --dry-run.
Usar rclone check origen destino --one-way a zkontrolujte souhrnnou zprávu.
Zkontrolujte vzory --exclude / --include že možná prozradili víc, než měli.

Pro jemné rafinování, -vv a vlajky --dump headers / --dump bodies Zobrazují HTTP požadavky provedené službou Rclone a rclone backend features remote: o rclone test Pomáhají přesně zjistit, co který backend podporuje a jak připojení funguje.

Rclone vám v konečném důsledku umožňuje připojit cokoli od skromné zálohy složky Dokumenty v Dropboxu až po multicloudový replikační systém se šifrováním, trvalým připojováním a monitorováním pomocí Prometheusu.Učební křivka může být zpočátku trochu zastrašující, ale jakmile ji zvládnete rclone config, copy, sync, mount y cryptZbytek je přidání vrstev: automatizace pomocí cronu nebo systemd, pokročilé filtrování, podrobné protokoly a drobné úpravy výkonu pro přizpůsobení vašemu síťovému a cloudovému prostředí. Jakmile všechny tyto prvky spojíte dohromady, přestane být „jen dalším konzolovým nástrojem“ a stane se tichým pilířem, který chrání vaše data, je šifruje a zůstane redundantní, aniž byste na to museli každý den myslet.