Add expire support (#44)

* added docker image support
* added environment variable support
* added docker instructions
* added .env hint
* use new yadu log handler
* update modules
* bump version

.github/ISSUE_TEMPLATE/bug_report.md

@@ -1,31 +0,0 @@
----
-name: Bug report
-about: Create a report to help us improve
-title: "[bug-report]"
-labels: bug
-assignees: TLINDEN
-
----
-
-**Description**
-<!-- Please provide a clear and concise description of the issue: -->
-
-
-**Steps To Reproduce**
-<!-- Please detail the steps to reproduce the behavior, execute kleingebaeck with the -d option: -->
-
-
-**Expected behavior**
-<!-- What do you expected to happen instead? -->
-
-
-**Version information**
-<!--
-Please provide as much version information as possible:
-- if you have just installed a binary, provide the output of: kleingebaeck --version
-- if you installed from source, provide the output of: make show-version
-- provide additional details: operating system and version and shell environment
--->
-
-
-**Additional informations**

.github/ISSUE_TEMPLATE/bug_report_de.md

@@ -1,32 +0,0 @@
----
-name: Bugreport Deutsch
-about: Erzeuge einen Bugreport
-title: "[bug-report-de]"
-labels: bug
-assignees: TLINDEN
-
----
-
-**Beschreibung**
-<!-- Bitte beschreibe den Fehler klar und möglichst präzise: -->
-
-
-**Schritte um den Fehler zu reproduzieren**
-<!-- Bitte gib detailiert an, welche konkreten Schritte zum Fehler
-     geführt haben, führe kleingebaeck mit der Option -d option aus: -->
-
-
-**Erwartetes Verhalten**
-<!-- Welches Verhalten hast Du ursprünglich erwartet? -->
-
-
-**Versionsinformation**
-<!--
-Bitte gib uns so viel Versionsinfos wie möglich:
-- wenn Du nur das Programm installiert hast: kleingebaeck --version
-- wenn Du von Source installiert hast: make show-version
-- bitte gib zusätzliche Details an: Betriebssystem + Version, Shellumgebung etc.
--->
-
-
-**Zusätzliche Informationen**

.github/ISSUE_TEMPLATE/feature_request.md

@@ -1,23 +0,0 @@
----
-name: Feature request
-about: Suggest a feature
-title: "[feature-request]"
-labels: feature-request
-assignees: TLINDEN
-
----
-
-**Description**
-<!-- Please provide a clear and concise description of the feature you desire: -->
-
-
-
-**Version information**
-<!--
-Just in case the feature is already present, please provide as
-much version information as possible:
-- if you have just installed a binary, provide the output of: tablizer --version
-- if you installed from source, provide the output of: make show-version
-- provide additional details: operating system and version and shell environment
--->
-

.github/ISSUE_TEMPLATE/feature_request_de.md

@@ -1,20 +0,0 @@
----
-name: Featurerequest Deutsch
-about: Empfehle ein neues Feature
-title: "[feature-request-de]"
-labels: feature-request
-assignees: TLINDEN
-
----
-
-**Beschreibung**
-<!-- Bitte beschreibe das gewünschte Feature klar und möglichst präzise: -->
-
-
-**Versionsinformation**
-<!--
-Bitte gib uns so viel Versionsinfos wie möglich:
-- wenn Du nur das Programm installiert hast: kleingebaeck --version
-- wenn Du von Source installiert hast: make show-version
-- bitte gib zusätzliche Details an: Betriebssystem + Version, Shellumgebung etc.
--->

.github/ISSUE_TEMPLATE/note_to_self.md

@@ -1,7 +0,0 @@
----
-name: Note to self
-about: Internal bugs and wishes
-title: "[bug-report]"
-labels: bug
-assignees: TLINDEN
-

.github/workflows/pushimage.yaml

@@ -26,9 +26,3 @@ jobs:
         with:
           push: true
           tags: ghcr.io/tlinden/kleingebaeck:${{ github.ref_name}}
-
-      - name: Build and push latest Docker image
-        uses: docker/build-push-action@ad44023a93711e3deb337508980b4b5e9bcdc5dc
-        with:
-          push: true
-          tags: ghcr.io/tlinden/kleingebaeck:latest

.gitignore

@@ -3,6 +3,3 @@ kleingebaeck
 releases
 t/out
 .bak
-t/httproot/out
-t/httproot/kleinanzeigen
-t/httproot/favicon.ico

Makefile

@@ -78,7 +78,7 @@ release: buildall
 
 show-versions: buildlocal
 	@echo "### kleingebaeck version:"
-	@./kleingebaeck -V
+	@./kleingebaeck -v
 
 	@echo
 	@echo "### go module versions:"

README-de.md

@@ -1,303 +0,0 @@
-## Kleingebäck - kleinanzeigen.de Backup
-
-![Kleingebaeck Logo](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/kleingebaecklogo-small.png)
-
-[![Go Report Card](https://goreportcard.com/badge/github.com/tlinden/kleingebaeck)](https://goreportcard.com/report/github.com/tlinden/kleingebaeck) 
-[![Actions](https://github.com/tlinden/kleingebaeck/actions/workflows/ci.yaml/badge.svg)](https://github.com/tlinden/kleingebaeck/actions)
-[![Go Coverage](https://github.com/tlinden/kleingebaeck/wiki/coverage.svg)](https://raw.githack.com/wiki/tlinden/kleingebaeck/coverage.html)
-![GitHub License](https://img.shields.io/github/license/tlinden/kleingebaeck)
-[![GitHub release](https://img.shields.io/github/v/release/tlinden/kleingebaeck?color=%2300a719)](https://github.com/TLINDEN/kleingebaeck/releases/latest)
-[![English](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/english.png)](https://github.com/tlinden/kleingebaeck/blob/main/README.md)
-
-Mit diesem Tool kann man seine Anzeigen bei https://kleinanzeigen.de sichern.
-
-Es kann alle Anzeigen eines Users (oder nur eine Ausgewählte)
-inklusive der Bilder herunterladen, die in einem Verzeichnis pro
-Anzeige gespeichert werden. In dem Verzeichnis wird eine Datei
-`Adlisting.txt` erstellt, in der sich die Inhalte der Anzeige wie
-Titel, Preis, Text etc befinden. Bilder werden natürlich auch heruntergeladen.
-
-## Screenshots
-
-Das ist die Hauptseite meines kleinanzeigen.de Accounts:
-
-![Index](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/kleinanzeigen-index.png)
-
-Sichern ich meine Anzeigen:
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/kleinanzeigen-download.png)
-
-Backupverzeichnis nach dem Download:
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/kleinanzeigen-backup.png)
-
-Verzeichnis einer Anzeige:
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/kleinanzeigen-ad.png)
-
-**Das gleiche unter Windows:**
-
-Anzeigen Sichern:
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/cmd-windows.jpg)
-
-Backupverzeichnis nach dem Download
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/liste-windows.jpg)
-
-Und eine Anzeige:
-
-![Download](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/adlisting-windows.jpg)
-
-## Installation
-
-Das Tool hat keine weiteren Abhängigkeiten und erfordert auch keine
-Anmeldung oder ähnliches. Man kädt sich einfach die ausführbare Datei
-für seine Plattform herunter und kann direkt loslegen.
-
-### Installation des vorcompilierten Programms
-
-Auf der Seite [des letzten Releases](https://github.com/TLINDEN/kleingebaeck/releases/latest) findet man das Program für sein Betriebssystem und die Plattform (z.b. Windows + Intel)
- 
-Es gibt 2 Varianten:
-
-1. Direkt das fertige Program für seine Plattform+OS herunterladen,
-   z.B. `kleingebaeck-linux-amd64-0.0.5`, nach `kleingebaeck`
-   umbenennen und in ein Verzeichnis kopieren, das im `PATH` ist,
-   (z.B. nach `$HOME/bin` oder als root nach `/usr/local/bin`).
-
-Um sicher zu gehen, dass an dem Program nicht verändert wurde, kann
-man die Signatur vergleichen. Für jeden Download gibt es eine dazu
-passende Signatur, in unserem Beispiel wäre das
-`kleingebaeck-linux-amd64-0.0.5.sha256`.
-
-Zum Verifizieren ausführen:
-
-```shell
-cat kleingebaeck-linux-amd64-0.0.5.sha25 && sha256sum kleingebaeck-linux-amd64-0.0.5
-```
-Man sollte zweimal den gleichen SHA256 Hash sehen.
-
-2. Man kann auch einen Tarball (tgz Dateiendung) herunterladen,
-   auspacken und mit GNU Make installieren:
-
-```shell
-tar xvfz kleingebaeck-linux-amd64-0.0.5.tar.gz
-cd kleingebaeck-linux-amd64-0.0.5
-sudo make install
-```
-
-### Installation aus dem Sourcecode
-
-Man muss eine funktionierende Go Buildumgebung in der Version 1.21
-installiert haben, um das Programm selber zu compilieren. GNU Make ist
-hilfreich, aber nicht unbedingt erforderlich.
-
-Um das Programm zu compilieren, muss man folgende Schritte ausführen:
-
-```shell
-git clone https://github.com/TLINDEN/kleingebaeck.git
-cd kleingebaeck
-go mod tidy
-make # (oder make)
-sudo make install
-```
-
-### Docker image benutzen
-
-Ein fertiges Dockerimage mit der aktuellen Programmversion ist immer
-verfügbar. Man kann damit z.B. das Tool testen, bevor man es dauerhaft
-benutzen möchte.
-
-Um das Image herunterzuladen:
-```
-docker pull ghcr.io/tlinden/kleingebaeck:latest
-```
-
-Um kleingebäck im Image auszuführen und Daten ins lokale Filesystem zu
-sichern, kann man so vorgehen:
-
-```shell
-mkdir anzeigen
-docker run -u `id -u $USER` -v ./anzeigen:/backup ghcr.io/tlinden/kleingebaeck:latest -u XXX -v
-ls -l anzeigen/ein-buch-mit-leeren-seiten
-total 792
-drwxr-xr-x 2 scip root   4096 Jan 23 12:58 ./
-drwxr-xr-x 3 scip scip   4096 Jan 23 12:58 ../
--rw-r--r-- 1 scip root 131650 Jan 23 12:58 1.jpg
--rw-r--r-- 1 scip root  81832 Jan 23 12:58 2.jpg
--rw-r--r-- 1 scip root 134050 Jan 23 12:58 3.jpg
--rw-r--r-- 1 scip root   1166 Jan 23 12:58 Adlisting.txt
-```
-
-Hier wird der aktuelle User auf den User im Image gemappt und das
-lokale Verzeichnis `anzeigen` nach `/backup` innerhalb des Images
-gemountet.
-
-Die Optionen `-u XXX -v` sind kleingebäck Optionen. Ersetze `XXX`
-durch Deine tatsächliche kleinanzeigen.de Userid.
-
-Eine Liste verfügbarer Images findet man [hier](https://github.com/tlinden/kleingebaeck/pkgs/container/kleingebaeck/versions?filters%5Bversion_type%5D=tagged)
-
-## Kommandozeilen Optionen:
-
-```
-Usage: kleingebaeck [-dvVhmoc] [<ad-listing-url>,...]
-Options:
--u --user    <uid>      Backup ads from user with uid <uid>.
--d --debug              Enable debug output.
--v --verbose            Enable verbose output.
--o --outdir  <dir>      Set output dir (default: current directory)
--l --limit   <num>      Limit the ads to download to <num>, default: load all.
--c --config  <file>     Use config file <file> (default: ~/.kleingebaeck).
-   --ignoreerrors       Ignore HTTP errors, may lead to incomplete ad backup.
--m --manual             Show manual.
--h --help               Show usage.
--V --version            Show program version.
-
-If one  or more <ad-listing-url>'s  are specified, only  backup those,
-otherwise backup all ads of the given user.
-```
-
-## Konfiguration
-
-Man    kann    anstelle     von    Kommandlineoptionen    auch    eine
-Konfigurationsdatei  verwenden.  Sie  befindet  sich standardmäßig  in
-`~/.kleingebaeck`  aber man  kann  mit dem  Parameter  `-c` auch  eine
-andere Datei angeben.
-
-Das Format (TOML) ist einfach:
-
-```
-user = 1010101
-loglevel = verbose
-outdir = "test"
-```
-
-Im Source gibt es eine Beispieldatei `example.conf` mit Kommentaren.
-
-## Umgebungsvariablen
-
-Man kann darüber hinaus auch Umgebungsvariablen verwenden. Sie
-entsprechen den Konfigurationsoptionen, aber gross geschrieben mit dem
-Präfix `KLEINGEBAECK_`, z.B.
-
-```shell
-% KLEINGEBAECK_OUTDIR=/backup kleingebaeck -v
-```
-
-## Benutzung
-
-Um das Tool einsetzen zu können, muss man zunächst seine Userid bei
-kleinanzeigen.de herausfinden. Dazu ruft man am besten die Liste
-seiner Anzeigen auf, während man NICHT eingeloggt ist:
-
-https://www.kleinanzeigen.de/s-bestandsliste.html?userId=XXXXXX
-
-Der `XXXXX` Teil der URL ist die Userid.
-
-Trage diese Userid in der Konfigurationsdatei ein wie oben
-beschrieben. Gib ausserdem das Ausgabeverzeichnis an. Dann einfach nur
-`kleingebaeck` ausführen.
-
-Innerhalb des Ausgabeverzeichnisses wird sich dann pro Anzeige ein
-Unterverzeichnis befinden. Pro Anzeige gibt es eine Datei
-`Adlisting.txt`, die etwa so aussieht:
-
-```default
-Title: A book I sell
-Price: 99 € VB
-Id: 1919191919
-Category: Sachbücher
-Condition: Sehr Gut
-Created: 10.12.2023
-
-This is the description text.
-
-Pay with paypal.
-```
-
-Sowie alle Bilder.
-
-Das Format kann man mit der Variable `template` in der Konfiguration
-ändern. Die `example.conf` enthält ein Beispiel für das Standard Template.
-
-## Documentation
-
-Die Dokumentation kann man
-[online](https://github.com/TLINDEN/kleingebaeck/blob/main/kleingebaeck.pod)
-oder lokal lesen mit: `kleingebaeck --manual`. Hat man das Tool mit
-dem Tarball installiert, funktioniert auch `man kleingebaeck`.
-
-## Kleingebäck?
-
-Der Name kommt von "kleinanzeigen backup", verkürzt "klein back", das
-englisch ausgesprochene "back" (deutsch bäck) führt dann zu "Kleingebäck".
-
-## Wo bekommt man Hilfe
-
-Obwohl ich gerne von kleingebäck Benutzern in privaten Mails höre, ist
-das doch der beste Weg, die Anfrage zu übersehen und zu vergessen.
-
-Um einen Fehler, ein unerwartetes Verhalten, eine Feature Request oder
-einen Patch zu übermitteln, eröffne daher bitte einen Issue unter:
-https://github.com/TLINDEN/kleingebaeck/issues. Danke!
-
-Bitte gebe den fehlgeschlagenen Befehl an, rufe es auch mit Debugging
-`-d` auf.
-
-## Ähnliche Projekte
-
-Ich konnte kein Projekt finden, das speziell dafür geeignet ist,
-Anzeigen bei kleinanzeigen.de zu sichern.
-
-Aber es gibt ein Projekt, mit dem man ebenfalls Backups erstellen
-kann:  [kleinanzeigen-bot](https://github.com/Second-Hand-Friends/kleinanzeigen-bot/).
-Aber Vorsicht: kleinanzeigen.de bekämpft Bots aktiv, mit diesem hier
-gibt es regelmäßige Probleme, z.B.: 
-[issue](https://github.com/Second-Hand-Friends/kleinanzeigen-bot/issues/219).
-Das Hauptproblem ist, dass diese Art von Bot sich mit Deinem Account
-aktiv einloggt und mit der Seite interagiert. Damit kann die Firma die
-Aktivitäten recht einfach Deinem User zuordnen und diesen **sperren**!
-Also sei bitte vorsichtig!
-
-**Kleingebäck** erfordert keinen Login, es verwendet lediglich die
-öffentlich verfügbare Webseite und ruft diese auf, wie ein normaler
-Browser. Tatsächlich gibt es meiner Meinung nach keinen Unterschied zu
-einem Browserclient: beide laufen auf Anwenderseite auf Initiative
-eines Benutzers. Und mit welchen Browser ich eine Webseite aufrufe,
-bleibt immer noch mir überlassen und muss mir nicht von irgendwem
-vorgeschrieben werden. Das schliesst die Verwendung von Kleingebäck
-mit ein.
-
-Hinzu kommt, dass dieses Tool nicht dazu gedacht ist, rund um die Uhr
-zu laufen. Man ruft es ab und zu mal auf, wenn man halt neue Anzeigen
-eingestellt hat, vielleicht einmal die Woche oder so. Man weiss ja
-selber, wann man was geändert hat. Man benötigt trotzdem den Zugriff
-mit dem Browser oder der mobilen App um Kleinanzeigen.de verwalten zu
-können.
-
-Meiner Ansicht nach ist das Risiko also sehr minimal, es handelt sich
-meiner Meinung nach auch nicht um eine Verletzung der AGBs dort. Aber
-das ist nur meine persönliche Meinung, bitte beachtet das. Am Ende
-müsst Ihr selbst einschätzen und beurteilen wie hoch Ihr das Risiko
-seht und ob Ohr es eingehen möchtet. Für eventuell auftretende
-Konsequenzen bin ich nicht verantwortlich. Siehe auch [GPL Lizenz](LICENSE).
-
-Es       gibt      noch       ein      weiteres       Tool      namens
-[kleinanzeigen-enhanded](https://kleinanzeigen-enhanced.de/).  Das ist
-eine    kostenpflichtige     vollständige    Anzeigenverwaltung    für
-Profinutzer. Man  muss eine  monatliche Abogebühr bezahlen.   Das Tool
-ist  als  Browsererweiterung  für  Google  Chrome  implementiert,  was
-erklärt,  warum sie  Anzeigen  erstellen, ändern  und löschen  können,
-obwohl es  gar keine  öffentliche API gibt.   Sieht nach  einer netten
-ausgereiften Lösung aus. Mit Backups.
- 
-## Copyright und License
-
-Lizensiert unter der GNU GENERAL PUBLIC LICENSE Version 3.
-
-## Autor
-
-T.v.Dein <tom AT vondein DOT org>
-

README.md

@@ -7,9 +7,7 @@
 [![Go Coverage](https://github.com/tlinden/kleingebaeck/wiki/coverage.svg)](https://raw.githack.com/wiki/tlinden/kleingebaeck/coverage.html)
 ![GitHub License](https://img.shields.io/github/license/tlinden/kleingebaeck)
 [![GitHub release](https://img.shields.io/github/v/release/tlinden/kleingebaeck?color=%2300a719)](https://github.com/TLINDEN/kleingebaeck/releases/latest)
-[![German](https://github.com/TLINDEN/kleingebaeck/blob/main/.github/assets/german.png)](https://github.com/tlinden/kleingebaeck/blob/main/README-de.md)
 
-[Die deutsche Version des READMEs findet Ihr hier](README-de.md).
 
 This tool can be used to backup ads on the german ad page https://kleinanzeigen.de
 
@@ -62,7 +60,7 @@ Go            to             the            [latest            release
 page](https://github.com/TLINDEN/kleingebaeck/releases/latest)     and
 look for your OS and platform. There are two options to install the binary:
 
-1.    Directly   download    the    binary    for   your    platform,
+1.    Directly   download    the    binary    for   your    platoform,
    e.g. `kleingebaeck-linux-amd64-0.0.5`, rename  it to `kleingebaeck`
    (or  whatever  you  like  more!)  and put  it  into  your  bin  dir
    (e.g. `$HOME/bin` or as root to `/usr/local/bin`).
@@ -99,37 +97,29 @@ To install after building either copy the binary or execute `sudo make install`.
 ### Using the docker image
 
 A pre-built docker  image is available, which you can  use to test the
-app without  installing it. To download:
+app without  installing it. You  need `docker-compose`. Copy  the file
+`docker-compose.yaml` to somewhere, cd to that directory and execute:
 
 ```shell
-docker pull ghcr.io/tlinden/kleingebaeck:latest
+mkdir kleinanzeigen-backup
+USER_ID=$(id -u) GROUP_ID=$(id -g) OUTDIR=./kleinanzeigen-backup docker-compose run kleingebaeck -u XXX -v
 ```
 
-To execute kleingebaeck  inside the image and download ads  to a local
+`USER_ID` and  `GROUP_ID` needs to  be specified  so that you  are the
-directory, do something like this:
+owner of the created backups. The backup directory `OUTDIR` must exist
+prior to the execution, otherwise docker  will create it as root, then
+kleingebaeck will  fail. You may  also use a  `.env` file in  the same
+directory containing the variables, such as:
 
-```shell
+```
-mkdir myads
+USER_ID=1000
-docker run -u `id -u $USER` -v ./myads:/backup ghcr.io/tlinden/kleingebaeck:latest -u XXX -v
+GROUP_ID=1000
-ls -l myads/ein-buch-mit-leeren-seiten
+OUTDIR=./kleinanzeigen-backup
-total 792
-drwxr-xr-x 2 scip root   4096 Jan 23 12:58 ./
-drwxr-xr-x 3 scip scip   4096 Jan 23 12:58 ../
--rw-r--r-- 1 scip root 131650 Jan 23 12:58 1.jpg
--rw-r--r-- 1 scip root  81832 Jan 23 12:58 2.jpg
--rw-r--r-- 1 scip root 134050 Jan 23 12:58 3.jpg
--rw-r--r-- 1 scip root   1166 Jan 23 12:58 Adlisting.txt
 ```
 
-We map the local user to the one inside the image so the permission
+You may of course also modify the `docker-compose.yaml` to suit your needs.
-will match. You'll need to create the directory first before executing
-docker run. And the local directory `myads` will be mapped to
-`/backup` inside the container.
 
-The options `-u XXX -v` are kleingebaeck options, replace `XXX` with
+If you want to build the image yourself, use the supplied Dockerfile.
-your actual kleinanzeigen.de user id.
-
-A list of available images is  [here](https://github.com/tlinden/kleingebaeck/pkgs/container/kleingebaeck/versions?filters%5Bversion_type%5D=tagged)
 
 ## Commandline options:
 
@@ -256,9 +246,9 @@ daily basis. You cannot use it to view regular ads or maintain your
 own ads. You'll need to use the mobile app or the browser page with a
 login. So, in my point of view, the risk is very minimal.
 
-There is another Tool available named [kleinanzeigen-enhanced](https://kleinanzeigen-enhanced.de/). It is a complete Ad management system targeting primarily commercial users. You have to pay a monthly fee, perhaps there's also a free version available, but I haven't checked. The tool is implemented as a Chrome browser extension, which explains why it was possible to implement it without an API. It seems to be a nice solution for power users by the looks of it. And it includes backups.
+There is another Tool available named [kleinanzeigen-enhanded](https://kleinanzeigen-enhanced.de/). It is a complete Ad management system targeting primarily commercial users. You have to pay a monthly fee, perhaps there's also a free version available, but I haven't checked. The tool is implemented as a Chrome browser extension, which explains why it was possible to implement it without an API. It seems to be a nice solution for power users by the looks of it. And it includes backups.
 
-## Copyright and License
+## Copyright und License
 
 Licensed under the GNU GENERAL PUBLIC LICENSE version 3.
 

config.go

@@ -35,7 +35,7 @@ import (
 )
 
 const (
-	VERSION         string = "0.3.0"
+	VERSION         string = "0.2.0"
 	Baseuri         string = "https://www.kleinanzeigen.de"
 	Listuri         string = "/s-bestandsliste.html"
 	Defaultdir      string = "."
@@ -62,7 +62,6 @@ Options:
 -l --limit   <num>      Limit the ads to download to <num>, default: load all.
 -c --config  <file>     Use config file <file> (default: ~/.kleingebaeck).
    --ignoreerrors       Ignore HTTP errors, may lead to incomplete ad backup.
--f --force              Download images even if they already exist.
 -m --manual             Show manual.
 -h --help               Show usage.
 -V --version            Show program version.
@@ -83,7 +82,6 @@ type Config struct {
 	Loglevel         string `koanf:"loglevel"`
 	Limit            int    `koanf:"limit"`
 	IgnoreErrors     bool   `koanf:"ignoreerrors"`
-	ForceDownload    bool   `koanf:"force"`
 	Adlinks          []string
 	StatsCountAds    int
 	StatsCountImages int
@@ -135,7 +133,6 @@ func InitConfig(w io.Writer) (*Config, error) {
 	f.BoolP("version", "V", false, "show program version")
 	f.BoolP("help", "h", false, "show usage")
 	f.BoolP("manual", "m", false, "show manual")
-	f.BoolP("force", "f", false, "force")
 
 	if err := f.Parse(os.Args[1:]); err != nil {
 		return nil, err

go.mod

@@ -14,14 +14,13 @@ require (
 	github.com/lmittmann/tint v1.0.4
 	github.com/mattn/go-isatty v0.0.20
 	github.com/spf13/pflag v1.0.5
-	github.com/tlinden/yadu v0.1.1
+	github.com/tlinden/yadu v0.1.0
 	golang.org/x/sync v0.5.0
 )
 
 require (
 	github.com/PuerkitoBio/goquery v1.5.1 // indirect
 	github.com/andybalholm/cascadia v1.1.0 // indirect
-	github.com/corona10/goimagehash v1.1.0 // indirect
 	github.com/fatih/color v1.16.0 // indirect
 	github.com/fsnotify/fsnotify v1.6.0 // indirect
 	github.com/knadh/koanf/maps v0.1.1 // indirect
@@ -29,7 +28,6 @@ require (
 	github.com/mitchellh/copystructure v1.2.0 // indirect
 	github.com/mitchellh/mapstructure v1.5.0 // indirect
 	github.com/mitchellh/reflectwalk v1.0.2 // indirect
-	github.com/nfnt/resize v0.0.0-20180221191011-83c6a9932646 // indirect
 	github.com/pelletier/go-toml v1.9.5 // indirect
 	golang.org/x/net v0.0.0-20220722155237-a158d28d115b // indirect
 	golang.org/x/sys v0.14.0 // indirect

go.sum

@@ -6,8 +6,6 @@ github.com/PuerkitoBio/goquery v1.5.1/go.mod h1:GsLWisAFVj4WgDibEWF4pvYnkVQBpKBK
 github.com/andybalholm/cascadia v1.0.0/go.mod h1:GsXiBklL0woXo1j/WYWtSYYC4ouU9PqHO0sqidkEA4Y=
 github.com/andybalholm/cascadia v1.1.0 h1:BuuO6sSfQNFRu1LppgbD25Hr2vLYW25JvxHs5zzsLTo=
 github.com/andybalholm/cascadia v1.1.0/go.mod h1:GsXiBklL0woXo1j/WYWtSYYC4ouU9PqHO0sqidkEA4Y=
-github.com/corona10/goimagehash v1.1.0 h1:teNMX/1e+Wn/AYSbLHX8mj+mF9r60R1kBeqE9MkoYwI=
-github.com/corona10/goimagehash v1.1.0/go.mod h1:VkvE0mLn84L4aF8vCb6mafVajEb6QYMHl2ZJLn0mOGI=
 github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
 github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
 github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
@@ -46,8 +44,6 @@ github.com/mitchellh/mapstructure v1.5.0 h1:jeMsZIYE/09sWLaz43PL7Gy6RuMjD2eJVyua
 github.com/mitchellh/mapstructure v1.5.0/go.mod h1:bFUtVrKA4DC2yAKiSyO/QUcy7e+RRV2QTWOzhPopBRo=
 github.com/mitchellh/reflectwalk v1.0.2 h1:G2LzWKi524PWgd3mLHV8Y5k7s6XUvT0Gef6zxSIeXaQ=
 github.com/mitchellh/reflectwalk v1.0.2/go.mod h1:mSTlrgnPZtwu0c4WaC2kGObEpuNDbx0jmZXqmk4esnw=
-github.com/nfnt/resize v0.0.0-20180221191011-83c6a9932646 h1:zYyBkD/k9seD2A7fsi6Oo2LfFZAehjjQMERAvZLEDnQ=
-github.com/nfnt/resize v0.0.0-20180221191011-83c6a9932646/go.mod h1:jpp1/29i3P1S/RLdc7JQKbRpFeM1dOBd8T9ki5s+AY8=
 github.com/pelletier/go-toml v1.9.5 h1:4yBQzkHv+7BHq2PQUZF3Mx0IYxG7LsP222s7Agd3ve8=
 github.com/pelletier/go-toml v1.9.5/go.mod h1:u1nR/EPcESfeI/szUZKdtJ0xRNbUoANCkoOuaOx1Y+c=
 github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
@@ -62,8 +58,6 @@ github.com/tlinden/yadu v0.0.0-20240118202225-ec3f0b7fc355 h1:EmgK+IGUz2m42bFKte
 github.com/tlinden/yadu v0.0.0-20240118202225-ec3f0b7fc355/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
 github.com/tlinden/yadu v0.1.0 h1:qtCi1jxg392qVRLFyrJ2LYu6/PiKSp1LT02EX+mNLME=
 github.com/tlinden/yadu v0.1.0/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
-github.com/tlinden/yadu v0.1.1 h1:116oEUy9b4PcMF5wLL2dCFA/sn/praYutOnao07MROw=
-github.com/tlinden/yadu v0.1.1/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
 golang.org/x/crypto v0.0.0-20190308221718-c2843e01d9a2/go.mod h1:djNgcEr1/C05ACkg1iLfiJU5Ep61QUkGW8qpdssI0+w=
 golang.org/x/net v0.0.0-20180218175443-cbe0f9307d01/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
 golang.org/x/net v0.0.0-20181114220301-adae6a3d119a/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=

image.go

@@ -1,142 +0,0 @@
-/*
-Copyright © 2023-2024 Thomas von Dein
-
-This program is free software: you can redistribute it and/or modify
-it under the terms of the GNU General Public License as published by
-the Free Software Foundation, either version 3 of the License, or
-(at your option) any later version.
-
-This program is distributed in the hope that it will be useful,
-but WITHOUT ANY WARRANTY; without even the implied warranty of
-MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-GNU General Public License for more details.
-
-You should have received a copy of the GNU General Public License
-along with this program. If not, see <http://www.gnu.org/licenses/>.
-*/
-
-package main
-
-import (
-	"bytes"
-	"image/jpeg"
-	"log/slog"
-	"os"
-	"path/filepath"
-
-	"github.com/corona10/goimagehash"
-)
-
-const MaxDistance = 3
-
-type Image struct {
-	Filename string
-	Hash     *goimagehash.ImageHash
-	Data     *bytes.Buffer
-	Uri      string
-}
-
-// used for logging to avoid printing Data
-func (img *Image) LogValue() slog.Value {
-	return slog.GroupValue(
-		slog.String("filename", img.Filename),
-		slog.String("uri", img.Uri),
-		slog.String("hash", img.Hash.ToString()),
-	)
-}
-
-// holds all images of an ad
-type Cache []*goimagehash.ImageHash
-
-func NewImage(buf *bytes.Buffer, filename string, uri string) *Image {
-	img := &Image{
-		Filename: filename,
-		Uri:      uri,
-		Data:     buf,
-	}
-
-	return img
-}
-
-// Calculate diff hash of the image
-func (img *Image) CalcHash() error {
-	jpgdata, err := jpeg.Decode(img.Data)
-	if err != nil {
-		return err
-	}
-
-	hash1, err := goimagehash.DifferenceHash(jpgdata)
-	if err != nil {
-		return err
-	}
-
-	img.Hash = hash1
-
-	return nil
-}
-
-// checks if 2 images are similar enough to be considered the same
-func (img *Image) Similar(hash *goimagehash.ImageHash) bool {
-	distance, err := img.Hash.Distance(hash)
-	if err != nil {
-		slog.Debug("failed to compute diff hash distance", "error", err)
-		return false
-	}
-
-	if distance < MaxDistance {
-		slog.Debug("distance computation", "image-A", img.Hash.ToString(),
-			"image-B", hash.ToString(), "distance", distance)
-		return true
-	} else {
-		return false
-	}
-}
-
-// check current image against all known hashes.
-func (img *Image) SimilarExists(cache Cache) bool {
-	for _, otherimg := range cache {
-		if img.Similar(otherimg) {
-			return true
-		}
-	}
-
-	return false
-}
-
-// read all  JPG images  in a  ad directory,  compute diff  hashes and
-// store the results in the slice Images
-func ReadImages(addir string, dont bool) (Cache, error) {
-	files, err := os.ReadDir(addir)
-	if err != nil {
-		return nil, err
-	}
-
-	cache := Cache{}
-
-	if dont {
-		// forced download, -f given
-		return cache, nil
-	}
-
-	for _, file := range files {
-		ext := filepath.Ext(file.Name())
-		if !file.IsDir() && (ext == ".jpg" || ext == ".jpeg" || ext == ".JPG" || ext == ".JPEG") {
-			filename := filepath.Join(addir, file.Name())
-			data, err := ReadImage(filename)
-			if err != nil {
-				return nil, err
-			}
-
-			img := NewImage(data, filename, "")
-			if err = img.CalcHash(); err != nil {
-				return nil, err
-			}
-
-			slog.Debug("Caching image from file system", "image", img, "hash", img.Hash.ToString())
-			cache = append(cache, img.Hash)
-		}
-	}
-
-	//return nil, errors.New("ende")
-	return cache, nil
-}

kleingebaeck.1

@@ -133,7 +133,7 @@
 .\" ========================================================================
 .\"
 .IX Title "KLEINGEBAECK 1"
-.TH KLEINGEBAECK 1 "2024-01-22" "1" "User Commands"
+.TH KLEINGEBAECK 1 "2024-01-17" "1" "User Commands"
 .\" For nroff, turn off justification.  Always turn off hyphenation; it makes
 .\" way too many mistakes in technical documents.
 .if n .ad l
@@ -142,7 +142,7 @@
 kleingebaeck \- kleinanzeigen.de backup tool
 .SH "SYNOPSYS"
 .IX Header "SYNOPSYS"
-.Vb 10
+.Vb 12
 \&    Usage: kleingebaeck [\-dvVhmoc] [<ad\-listing\-url>,...]
 \&    Options:
 \&    \-u \-\-user    <uid>      Backup ads from user with uid <uid>.
@@ -152,7 +152,6 @@ kleingebaeck \- kleinanzeigen.de backup tool
 \&    \-l \-\-limit   <num>      Limit the ads to download to <num>, default: load all.
 \&    \-c \-\-config  <file>     Use config file <file> (default: ~/.kleingebaeck).
 \&       \-\-ignoreerrors       Ignore HTTP errors, may lead to incomplete ad backup.
-\&    \-f \-\-force              Download images even if they already exist.
 \&    \-m \-\-manual             Show manual.
 \&    \-h \-\-help               Show usage.
 \&    \-V \-\-version            Show program version.

kleingebaeck.go

@@ -14,7 +14,6 @@ SYNOPSYS
         -l --limit   <num>      Limit the ads to download to <num>, default: load all.
         -c --config  <file>     Use config file <file> (default: ~/.kleingebaeck).
            --ignoreerrors       Ignore HTTP errors, may lead to incomplete ad backup.
-        -f --force              Download images even if they already exist.
         -m --manual             Show manual.
         -h --help               Show usage.
         -V --version            Show program version.

kleingebaeck.pod

@@ -13,7 +13,6 @@ kleingebaeck - kleinanzeigen.de backup tool
     -l --limit   <num>      Limit the ads to download to <num>, default: load all.
     -c --config  <file>     Use config file <file> (default: ~/.kleingebaeck).
        --ignoreerrors       Ignore HTTP errors, may lead to incomplete ad backup.
-    -f --force              Download images even if they already exist.
     -m --manual             Show manual.
     -h --help               Show usage.
     -V --version            Show program version.

scrape.go

@@ -18,7 +18,6 @@ along with this program. If not, see <http://www.gnu.org/licenses/>.
 package main
 
 import (
-	"bytes"
 	"errors"
 	"fmt"
 	"log/slog"
@@ -120,14 +119,14 @@ func ScrapeAd(fetch *Fetcher, uri string) error {
 
 	ad.CalculateExpire()
 
+	slog.Debug("extracted ad listing", "ad", ad)
+
 	// write listing
 	addir, err := WriteAd(fetch.Config, ad)
 	if err != nil {
 		return err
 	}
 
-	slog.Debug("extracted ad listing", "ad", ad)
-
 	fetch.Config.IncrAds()
 
 	return ScrapeImages(fetch, ad, addir)
@@ -136,52 +135,22 @@ func ScrapeAd(fetch *Fetcher, uri string) error {
 func ScrapeImages(fetch *Fetcher, ad *Ad, addir string) error {
 	// fetch images
 	img := 1
-	adpath := filepath.Join(fetch.Config.Outdir, addir)
-
-	// scan existing images, if any
-	cache, err := ReadImages(adpath, fetch.Config.ForceDownload)
-	if err != nil {
-		return err
-	}
-
 	g := new(errgroup.Group)
 
 	for _, imguri := range ad.Images {
 		imguri := imguri
-		file := filepath.Join(adpath, fmt.Sprintf("%d.jpg", img))
+		file := filepath.Join(fetch.Config.Outdir, addir, fmt.Sprintf("%d.jpg", img))
 		g.Go(func() error {
 			body, err := fetch.Getimage(imguri)
 			if err != nil {
 				return err
 			}
 
-			buf := new(bytes.Buffer)
+			err = WriteImage(file, body)
-			_, err = buf.ReadFrom(body)
 			if err != nil {
 				return err
 			}
 
-			buf2 := buf.Bytes() // needed for image writing
-
-			image := NewImage(buf, "", imguri)
-			err = image.CalcHash()
-			if err != nil {
-				return err
-			}
-
-			if !fetch.Config.ForceDownload {
-				if image.SimilarExists(cache) {
-					slog.Debug("similar image exists, not written", "uri", image.Uri)
-					return nil
-				}
-			}
-
-			err = WriteImage(file, buf2)
-			if err != nil {
-				return err
-			}
-
-			slog.Debug("wrote image", "image", image, "size", len(buf2))
 			return nil
 		})
 		img++

store.go

@@ -19,7 +19,7 @@ package main
 
 import (
 	"bytes"
-	"fmt"
+	"io"
 	"log/slog"
 	"os"
 	"path/filepath"
@@ -86,46 +86,17 @@ func WriteAd(c *Config, ad *Ad) (string, error) {
 	return addir, nil
 }
 
-func WriteImage(filename string, buf []byte) error {
+func WriteImage(filename string, reader io.ReadCloser) error {
 	file, err := os.Create(filename)
 	if err != nil {
 		return err
 	}
 	defer file.Close()
 
-	_, err = file.Write(buf)
+	_, err = io.Copy(file, reader)
-
 	if err != nil {
 		return err
 	}
 
 	return nil
 }
-
-func ReadImage(filename string) (*bytes.Buffer, error) {
-	var buf bytes.Buffer
-
-	if !fileExists(filename) {
-		return nil, fmt.Errorf("image %s does not exist", filename)
-	}
-
-	data, err := os.ReadFile(filename)
-	if err != nil {
-		return nil, err
-	}
-
-	_, err = buf.Write(data)
-	if err != nil {
-		return nil, err
-	}
-
-	return &buf, nil
-}
-
-func fileExists(filename string) bool {
-	info, err := os.Stat(filename)
-	if os.IsNotExist(err) {
-		return false
-	}
-	return !info.IsDir()
-}

t/httproot/README.md

@@ -1,13 +0,0 @@
-# Mock http server
-
-Install ehfs from https://github.com/mjpclab/extra-http-file-server/.
-
-Install p2cli from https://github.com/wrouesnel/p2cli.
-
-Run `templates/render.sh` to build the file structure.
-
-Run `server.sh` to start the http server.
-
-To scrape an ad from it, use such a URL:
-
-http://localhost:8080/s-anzeige/first-ad/111-11-111

t/httproot/serve.sh

@@ -1,4 +0,0 @@
-#!/bin/sh
-ehfs -a :/s-anzeige:./kleinanzeigen \
-     -a :/api/v1/prod-ads/images/fc:./img \
-     -l localhost:8080 -I index.html

t/httproot/templates/ad.tpl

@@ -1,50 +0,0 @@
-<!DOCTYPE html>
-<html lang="de">
-  <head>
-    <title>Ad Listing</title>
-  </head>
-  <body>
-
-    <div class="l-container-row">
-        <div id="vap-brdcrmb" class="breadcrump">
-            <a class="breadcrump-link" itemprop="url" href="/" title="Kleinanzeigen ">
-                <span itemprop="title">Kleinanzeigen </span>
-            </a>
-            <a class="breadcrump-link" itemprop="url" href="/egal">
-               <span itemprop="title">{{ category }}</span></a>
-            </div>
-    </div>
-
-    {% for image in images %}
-    <div class="galleryimage-element" data-ix="3">
-      <img src="http://localhost:8080/api/v1/prod-ads/images/fc/{{ image.id }}?rule=$_59.JPG"/>
-    </div>
-    {% endfor %}
-
-    <h1 id="viewad-title" class="boxedarticle--title" itemprop="name" data-soldlabel="Verkauft">
-      {{ title }}</h1>
-    <div class="boxedarticle--flex--container">
-      <h2 class="boxedarticle--price" id="viewad-price">
-        {{ price }}</h2>
-    </div>
-
-    <div id="viewad-extra-info" class="boxedarticle--details--full">
-      <div><i class="icon icon-small icon-calendar-gray-simple"></i><span>{{ created }}</span></div>
-    </div>
-
-    <div class="splitlinebox l-container-row" id="viewad-details">
-      <ul class="addetailslist">
-        <li class="addetailslist--detail">
-          Zustand<span class="addetailslist--detail--value" >
-          {{ condition }}</span>
-        </li>
-      </ul>
-    </div>
-
-    <div class="l-container last-paragraph-no-margin-bottom">
-      <p id="viewad-description-text" class="text-force-linebreak " itemprop="description">
-        {{ text }}
-      </p>
-    </div>
-  </body>
-</html>

t/httproot/templates/index.tpl

@@ -1,15 +0,0 @@
-<!DOCTYPE html>
-<html lang="de" >
-  <head>
-    <title>Ads</title>
-  </head>
-  <body>
-    {% for ad in ads %}
-     <h2 class="text-module-begin">
-        <a class="ellipsis"
-           href="/s-anzeige/{{ ad.slug }}/{{ ad.id }}">{{ ad.title }}</a>
-     </h2>
-    {% endfor %}
-  </body>
-</html>
-

t/httproot/templates/render.sh

@@ -1,13 +0,0 @@
-#!/bin/sh -x
-base="../kleinanzeigen"
-mkdir -p $base
-
-echo "Generating /s-bestandsliste.html"
-p2cli -t index.tpl -i vars.yaml > $base/s-bestandsliste.html
-
-for idx in 0 1; do
-    slug=$(cat vars.yaml | yq ".ads[$idx].slug")
-    id=$(cat vars.yaml | yq ".ads[$idx].id")
-    mkdir -p $base/$slug/$id
-    cat vars.yaml | yq ".ads[$idx]" | p2cli -t ad.tpl -f yaml > $base/$slug/$id/index.html
-done

t/httproot/templates/vars.yaml

@@ -1,27 +0,0 @@
-ads:
-  - slug: first-ad
-    id: 111-11-111
-    title: First Ad
-    price: "19 €"
-    condition: "Sehr gut"
-    category: "Weitere Elektronik"
-    created: 21.12.2023
-    images:
-      - id: fcf6d664-5258-42c2-bf58-d1b8e9221574
-      - id: fcf6d664-5258-42c2-bf58-as43as5d43as
-    text: |
-      Zu Verkaufen.
-      Zahlung nur Paypal.
-  - slug: second-ad
-    id: 222-22-222
-    title: Second Ad
-    price: "200 €"
-    condition: "Sehr gut"
-    category: "Elektronik"
-    created: 21.12.2023
-    images:
-      - id: cdas4sd5-5258-42c2-bf58-d1b8e9221574
-      - id: cdas4sd5-5258-42c2-bf58-as43as5d43as
-    text: |
-      Zu Verkaufen.
-      Zahlung nur Überweisung.