Wie Paperless-ngx Speicher belegt: Mehr als nur PDFs

Bevor wir optimieren, verstehen wir die Speicheranatomie. Eine typische Dokumenteninstanz in Paperless-ngx besteht aus:

• Originaldatei: Das unveränderte Eingangsdokument (PDF, JPEG, DOCX)
• Archiv-PDF: Die von Paperless erzeugte, OCR-fähige Version
• Thumbnails: Vorschaubilder in verschiedenen Auflösungen
• Text-Extrakt: Der durch OCR gewonnene durchsuchbare Text
• Indizes: Datenbankeinträge für schnelle Suche

Dabei zeigt sich: Die größten Speicherfresser sind meist die Archiv-PDFs und Originale. Ein interessanter Aspekt ist die doppelte Ablage – warum behält Paperless eigentlich beide Versionen? Ganz einfach: Das Archiv-PDF ist optimiert für Langzeitlesbarkeit und OCR, während das Original Beweisintegrität sichert. Diese Dualität bietet Optimierungshebel.

Strategie 1: Dokumenteneingang optimieren – Qualität vor Quantität

Die effektivste Platzersparnis beginnt vor dem Import. Ein 300-dpi-Farbscan einer Rechnung erzeugt leicht 5MB – bei 200 Dokumenten täglich ein Albtraum. Dabei reichen für Textdokumente oft 150 dpi in Graustufen. Praxistipp:

• Scannerprofile anpassen: Nutzen Sie gerätespezifische Voreinstellungen für unterschiedliche Dokumententypen (Rechnungen vs. Fotos)
• OCR-Vorverarbeitung: Tools wie unpaper entfernen Scan-Artefakte vor dem Import, was kleinere PDFs ermöglicht
• Dateiformat-Filterung: Blockieren Sie unnötige Formate (z.B. BMP oder TIFF) bereits am Mail-Eingang

Ein mittelständischer Maschinenbauer reduzierte so den monatlichen Speicherzuwachs um 38% – allein durch Scanner-Richtlinien.

Strategie 2: PDF-Komprimierung – Der heilige Gral

Hier liegt das größte Sparpotenzial. Paperless-ngx selbst bietet rudimentäre Komprimierung, doch mit externen Tools erreichen Sie mehr. Entscheidend ist die Unterscheidung:

a) Verlustbehaftete Kompression (für gescannte Bilder)

Ideal für reine Textdokumente. Mit ghostscript lassen sich PDFs radikal schrumpfen:

gs -sDEVICE=pdfwrite -dCompatibilityLevel=1.4 -dPDFSETTINGS=/ebook -dNOPAUSE -dBATCH -sOutputFile=output.pdf input.pdf

Die /ebook-Einstellung reduziert auf 150 dpi. Bei Archiven mit hohem Bildanteil testen Sie vorsichtig /screen (72 dpi).

b) Verlustfreie Kompression (für OCR-PDFs)

Wichtig wenn Textqualität Priorität hat. ocrmypdf ist hier der Goldstandard:

ocrmypdf --optimize 3 --jbig-quality 0 input.pdf output.pdf

Das Tool führt gleichzeitig OCR durch und komprimiert verlustfrei – besonders effizient bei gemischten Dokumenten.

Achtung: Automatisieren Sie Kompression über Paperless‘ CONSUMER_POLICY_SCRIPT. Ein Logistikunternehmen sparte so 12 TB – das entspricht 40% ihres Gesamtspeichers.

Strategie 3: Lebenszyklus-Management – Nicht alles muss heiß lagern

Die ISO-16175-Norm unterscheidet zwischen Arbeits- und Archivdokumenten. Übertragen auf Paperless:

• Heiße Daten: Aktuelle Rechnungen, laufende Verträge (bevorzugen Sie hier SSD-Storage)
• Warme Daten: Abgeschlossene Projekte, Steuerunterlagen der letzten 3 Jahre
• Kalte Daten: Archivmaterial > 10 Jahre (ideal für Kompression + Tape/Cloud)

Implementieren Sie mit inotifywait oder Paperless Tags automatische Verschieberoutinen. Beispiel: Dokumente mit Tag „Archiv“ werden nach 24 Monaten auf langsame, hochkomprimierte Storage-Tier migriert.

Strategie 4: Thumbnail-Optimierung – Kleinvieh macht auch Mist

Viele übersehen die Speicherfalle der Vorschaubilder. Standardmäßig generiert Paperless drei Thumbnail-Größen. Bei 500.000 Dokumenten summieren sich selbst kleine Bilder. Lösungen:

• Größen reduzieren: In der conf.env setzen Sie PAPERLESS_THUMBNAIL_WIDTH=128 statt 256 Pixel
• Format wechseln: JPEG statt PNG spart 30-50% (via PAPERLESS_THUMBNAIL_FORMAT=JPEG)
• Cleanup-Skripte: Löschen Sie Thumbnails für gelöschte Dokumente regelmäßig

Ein Versicherungsunternehmen gewann so 800 GB durch Thumbnail-Tuning zurück – ohne spürbare UI-Einbußen.

Strategie 5: Duplikaterkennung und Datenhygiene

Doppelte Dokumente sind der heimliche Speicherkiller. Paperless-ngx hat keine native Deduplizierung, aber Abhilfe schaffen:

• Content-Fingerprinting: Mit fdupes oder rdfind identifizieren Sie Dubletten via Hash-Prüfung
• Mail-Anhang-Filter: Verhindern Sie, dass Team-Mails mit gleichen Anhängen mehrfach importiert werden
• Retentionsregeln: Automatisches Löschen temporärer Dokumente nach definierter Frist

Praxistipp: Kombinieren Sie find mit md5sum für einfaches Duplikat-Scanning im Konsumverzeichnis.

Strategie 6: Storage-Architektur – Clever trennen und verlinken

Fortgeschrittene nutzen Paperless‘ Flexibilität bei Speicherorten:

• Symlinks für Originale: Lagern Sie große Originaldateien auf günstigem Object-Storage aus
• Tiered Storage: Heiße Daten auf SSDs, Archive auf HDDs mittels PAPERLESS_DATA_DIR-Bindings
• ZFS/Btrfs nutzen: Transparente Kompression auf Dateisystemebene (bis zu 2x Platzersparnis)

Ein interessanter Workaround: Manche Firmen lagern nur Archiv-PDFs in Paperless, während Originale im S3-Bucket liegen. Das spart bis zu 60% im Hauptsystem.

Strategie 7: OCR-Intelligenz – Nicht jedes Dokument braucht volle Textanalyse

OCR ist rechen- und speicherintensiv. Doch nicht jedes Bild benötigt Volltext-Erkennung:

• Selektive OCR: Deaktivieren Sie OCR für reine Bilddokumente via Tag-basierten Regeln
• Sprachen reduzieren: Beschränken Sie Tesseract-OCR auf tatsächlich genutzte Sprachen (PAPERLESS_OCR_LANGUAGES=deu eng)
• OCR-Quality vs. Größe: Testen Sie --pdfa-image-compression=lossless in ocrmypdf

Fallstudie: Vom Speichernotstand zur Effizienz

Ein 400-Mitarbeiter Maschinenbauer stand vor dem Kollaps: 24 TB Dokumentenspeicher, täglich +50 GB Wachstum, Backups dauerten 18 Stunden. Die Optimierung:

1. Einführung von Scanprofilen (Graustufen, 150 dpi für 80% der Dokumente)
2. Automatisiertes ocrmypdf-Skript mit Level-3-Optimierung
3. Migration aller Dokumente >5 Jahre auf Ceph-Object-Storage
4. Monatliche Duplikatsuche via rdfind

Resultat: 62% geringerer Speicherbedarf, Backup-Fenster von 3 Stunden, jährliche Storage-Kosteneinsparung: 28.000€. Dabei blieb die Volltextsuche performant.

Praxistipps für die Umsetzung

• Monitoring first: Integrieren Sie Speichermetriken in Grafana (du -sh /var/lib/paperless/*)
• Stufenweise vorgehen: Testen Sie Kompressionsstufen an repräsentativen Dokumenten
• Backup vor Massenoperationen: Komprimierungsskripts können bei Fehlern Dokumente beschädigen
• Rechtliche Prüfung: Bei juristischen Dokumenten Kompressionsstufen mit Compliance abklären

Risiken und Grenzen

Nicht zuletzt: Aggressive Optimierung kann nach hinten losgehen. Typische Fallstricke:

• OCR-Qualitätsverlust: Zu stark komprimierte PDFs lassen OCR-Fehlerraten steigen
• Performance-Tradeoffs: Hochkomprimierte PDFs brauchen länger zum Rendern
• Juristische Anforderungen: Manche Dokumente verbieten Änderungen am Originalformat
• Metadatenverlust: Einige Tools entfernen XMP-Metadaten bei Kompression

Als Faustregel gilt: Für aktuell genutzte Dokumente moderate Kompression, für Archive maximale Verdichtung.

Zukunftsperspektiven

Die Paperless-ngx-Community arbeitet an native Lösungen. Spannend sind:

• Integrierte Deduplizierung auf Blockebene
• Automatisches Tiering basierend auf Zugriffshäufigkeit
• AI-gestützte Kompression (erkennt unwichtige Bildbereiche)

Bis dahin bleiben die hier beschriebenen Methoden unverzichtbar. Ein letzter Hinweis: Dokumentiert Ihre Optimierungen! Nichts ist ärgerlicher, als nach Jahren nicht zu wissen, warum bestimmte Archiv-PDFs plötzlich nur 50 KB groß sind…