feat: Papierkorb, Abrufzaehler, WebP ohne Adressaenderung, ZIP hochladen
Vier Dinge, alle am laufenden Dienst gemessen. PAPIERKORB. Loeschen war endgueltig -- bei einem Knopf "alle 3861 waehlen" direkt neben "loeschen" ist das die falsche Haerte, und die Sicherung half nur bis zum letzten naechtlichen Lauf. Die Datei wandert jetzt nach /data/papierkorb, der Datensatz in eine eigene Tabelle, nach 30 Tagen raeumt der Dienst stuendlich selbst auf. Der Ablagename traegt eine laufende Nummer: unter demselben Pfad koennen nacheinander verschiedene Dateien gelegen haben, und beide sollen zurueckholbar sein. Geprueft: loeschen -> oeffentlich 404, Eintrag im Papierkorb, zurueckholen -> 200 samt neu gerechneter Vorschau. ABRUFZAEHLER. media.abrufe und zuletzt_abgerufen. Gezaehlt wird im Speicher und alle 30 Sekunden weggeschrieben -- ein UPDATE je Kachel waeren bei einer Galerieseite 120 Schreibvorgaenge. Der 304 zaehlt mit (der Aufrufer WOLLTE die Datei, er hatte sie nur schon), HEAD nicht. Was vor dem Einbau lag, steht als "nie geholt" da, auch wenn es taeglich benutzt wurde -- die Karte im Speicherbericht sagt das auch dazu, statt eine Zahl zu zeigen, die luegt. WEBP OHNE ADRESSAENDERUNG. Der Pfad ist die Adresse: aus items/foo.png darf nicht items/foo.webp werden. Die sparsame Fassung liegt deshalb DANEBEN und wird unter DERSELBEN Adresse ausgeliefert, wenn der Aufrufer per Accept sagt, dass er WebP versteht. Nachgemessen an einer Datei: 6448 Bytes fuer curl, 2758 fuer einen Browser. Ueber den ganzen Bestand: 3606 Fassungen, 199,3 MB -> 33,1 MB, gespart 166,2 MB. Bei 29 lohnt WebP nicht -- dort bleibt es beim Original. Zwei Dinge haengen daran, beide gegengeprueft: "Vary: Accept" (ohne die Zeile legt ein Zwischenspeicher die WebP-Fassung fuer alle ab, auch fuer die, die sie nicht lesen koennen) und getrennte ETags mit "-w" (sonst bekaeme jemand auf seinen If-None-Match hin ein 304 fuer das falsche Bild). Gemessen: derselbe ETag mit Accept -> 304, ohne Accept -> 200 mit dem PNG. ZIP HOCHLADEN. Ein Archiv wird ausgepackt statt abgelegt, die Ordner darin bleiben erhalten und haengen sich hinter den gewaehlten Zielordner. fflate und nicht adm-zip: reines JavaScript, keine native Bibliothek -- dieses Projekt hat schon einen halben Abend an einer ABI-Nummer verloren. Grenzen: 5000 Eintraege, 256 MB entpackt, geprueft VOR dem Entpacken (eine Zip-Bombe waere sonst schon im Speicher). Zip-Slip gemessen: "../../../../etc/passwd" und "..\..\windows\hosts" abgelehnt, die harmlose Datei im selben Archiv abgelegt. UND EIN KNOPF, DER GELOGEN HAT. Der erste Nachruestlauf ueber alle Dateien brauchte mehr als 90 Sekunden -- genau da gibt Nginx Proxy Manager auf. Der Aufrufer sah einen 504, waehrend die Arbeit im Hintergrund weiterlief und fertig wurde. Ein Knopf, der Erfolg als Fehler meldet, ist schlimmer als einer ohne Rueckmeldung. Beide Wartungsknoepfe laufen deshalb in Runden zu 300 Stueck: der Server meldet "offen" und "fertig", die Oberflaeche ruft erneut auf und zeigt dabei "280 erzeugt, noch 129 offen ...". Gemessen: 7,8 s je Runde statt 90+ am Stueck. Der Vorschau-Knopf hatte dieselbe Wand und wurde mitgezogen, obwohl er noch nicht dagegengelaufen war. Nebenbei: der Verwaisten-Sucher kennt jetzt auch /data/webp (gleiche Schleife, Ordner im Ergebnis vorangestellt), Verschieben und Loeschen nehmen die sparsame Fassung mit, und das Loeschen eines Ordners raeumt thumbs/ und webp/ hinterher. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
+65
-6
@@ -28,11 +28,11 @@ import { Hono } from 'hono'
|
||||
import { logger } from 'hono/logger'
|
||||
import { config } from './config.js'
|
||||
import { ensureAdmin } from './auth.js'
|
||||
import { pruneSessions } from './db.js'
|
||||
import { pruneSessions, schreibeAbrufe, zaehleAbruf } from './db.js'
|
||||
import { pruefeSicherung } from './meldung.js'
|
||||
import { absolutePath, checkPath, mimeFor, thumbPath } from './storage.js'
|
||||
import { absolutePath, checkPath, lohntWebp, mimeFor, thumbPath, webpPfad } from './storage.js'
|
||||
import { uploadRoutes } from './routes/upload.js'
|
||||
import { dashRoutes } from './routes/dash.js'
|
||||
import { dashRoutes, papierkorbAusleeren } from './routes/dash.js'
|
||||
|
||||
const app = new Hono()
|
||||
|
||||
@@ -97,7 +97,7 @@ async function serveFile(c: any, rawPath: string) {
|
||||
return c.text('nicht gefunden', 404)
|
||||
}
|
||||
|
||||
const absolute = absolutePath(path)
|
||||
let absolute = absolutePath(path)
|
||||
let info
|
||||
try {
|
||||
info = await stat(absolute)
|
||||
@@ -106,10 +106,45 @@ async function serveFile(c: any, rawPath: string) {
|
||||
return c.text('nicht gefunden', 404)
|
||||
}
|
||||
|
||||
const etag = `"${info.size.toString(16)}-${info.mtimeMs.toString(16)}"`
|
||||
// DIE SPARSAME FASSUNG, unter DERSELBEN Adresse.
|
||||
//
|
||||
// Der Browser sagt mit `Accept`, was er versteht. Versteht er WebP und
|
||||
// liegt eine Fassung daneben, bekommt er sie. Die Adresse bleibt
|
||||
// items/foo.png, und kein Skript merkt etwas davon. Lua, curl und alles
|
||||
// ohne diese Ansage bekommen unveraendert das Original.
|
||||
//
|
||||
// Der Vergleich ist absichtlich stumpf: `Accept` traegt Gewichte, und ein
|
||||
// "image/webp;q=0" hiesse eigentlich "bitte nicht". Das schickt in der
|
||||
// Praxis niemand -- und faellt jemand doch darauf herein, bekommt er ein
|
||||
// gueltiges Bild, nur in einem anderen Format. Der Preis eines Fehlers ist
|
||||
// hier klein genug, dass die einfache Pruefung die richtige ist.
|
||||
let typ = mimeFor(path)
|
||||
let sparsam = false
|
||||
if (lohntWebp(typ) && (c.req.header('accept') ?? '').includes('image/webp')) {
|
||||
try {
|
||||
const wInfo = await stat(webpPfad(path))
|
||||
if (wInfo.isFile()) {
|
||||
absolute = webpPfad(path)
|
||||
info = wInfo
|
||||
typ = 'image/webp'
|
||||
sparsam = true
|
||||
}
|
||||
} catch {
|
||||
/* keine sparsame Fassung -- dann eben das Original */
|
||||
}
|
||||
}
|
||||
|
||||
// Das Kennzeichen gehoert IN den ETag: sonst traegt das Original und die
|
||||
// sparsame Fassung dieselbe Marke, sobald beide zufaellig gleich gross und
|
||||
// gleich alt sind, und ein Aufrufer bekaeme auf seinen 304 hin das falsche
|
||||
// Bild aus seinem eigenen Zwischenspeicher.
|
||||
const etag = `"${info.size.toString(16)}-${info.mtimeMs.toString(16)}${sparsam ? '-w' : ''}"`
|
||||
const headers: Record<string, string> = {
|
||||
'Content-Type': mimeFor(path),
|
||||
'Content-Type': typ,
|
||||
'Cache-Control': 'public, max-age=300',
|
||||
// OHNE DIESE ZEILE legt ein Zwischenspeicher die WebP-Fassung fuer ALLE
|
||||
// ab -- auch fuer die, die sie nicht lesen koennen.
|
||||
Vary: 'Accept',
|
||||
ETag: etag,
|
||||
'Last-Modified': info.mtime.toUTCString(),
|
||||
'Accept-Ranges': 'bytes',
|
||||
@@ -118,6 +153,13 @@ async function serveFile(c: any, rawPath: string) {
|
||||
'X-Content-Type-Options': 'nosniff',
|
||||
}
|
||||
|
||||
// GEZAEHLT WIRD HIER, nach der Pruefung und vor der Auslieferung.
|
||||
//
|
||||
// Auch der 304 zaehlt: der Aufrufer WOLLTE die Datei, er hatte sie nur
|
||||
// schon. Fuer die Frage "braucht das noch jemand" ist das dasselbe.
|
||||
// HEAD zaehlt nicht -- das fragt nach der Datei, nicht nach dem Inhalt.
|
||||
if (c.req.method !== 'HEAD') zaehleAbruf(path)
|
||||
|
||||
if (c.req.header('if-none-match') === etag) return c.body(null, 304, headers)
|
||||
if (c.req.method === 'HEAD') {
|
||||
return c.body(null, 200, { ...headers, 'Content-Length': String(info.size) })
|
||||
@@ -328,6 +370,23 @@ setInterval(pruneSessions, 3600_000).unref()
|
||||
setTimeout(() => void pruefeSicherung(), 60_000).unref()
|
||||
setInterval(() => void pruefeSicherung(), 3600_000).unref()
|
||||
|
||||
// Die gezaehlten Abrufe wegschreiben. Alle 30 Sekunden reicht: wer wissen
|
||||
// will, ob eine Datei benutzt wird, braucht keine Genauigkeit auf die Sekunde.
|
||||
setInterval(schreibeAbrufe, 30_000).unref()
|
||||
|
||||
// Und beim Herunterfahren, damit die letzten nicht verlorengehen.
|
||||
for (const signal of ['SIGINT', 'SIGTERM'] as const) {
|
||||
process.on(signal, () => {
|
||||
schreibeAbrufe()
|
||||
process.exit(0)
|
||||
})
|
||||
}
|
||||
|
||||
// Den Papierkorb ausleeren, was ueberfaellig ist. Beim Start mit Verzoegerung,
|
||||
// danach stuendlich.
|
||||
setTimeout(() => void papierkorbAusleeren(), 90_000).unref()
|
||||
setInterval(() => void papierkorbAusleeren(), 3600_000).unref()
|
||||
|
||||
serve({ fetch: app.fetch, port: config.port }, (info) => {
|
||||
console.log(`[d4rk_media] Port ${info.port}`)
|
||||
console.log(
|
||||
|
||||
Reference in New Issue
Block a user