mirror of
https://codeberg.org/scip/kleingebaeck.git
synced 2025-12-17 04:21:00 +01:00
Compare commits
9 Commits
upd/bump
...
doc/fixrea
| Author | SHA1 | Date | |
|---|---|---|---|
| 97abed18ff | |||
| 6f3954f1c0 | |||
| a465bbfaa8 | |||
| ddae6ed8be | |||
| 8cced1f9e1 | |||
| 3245438564 | |||
| 71c528114f | |||
| e2afc1350b | |||
| e971070f9f |
31
.github/ISSUE_TEMPLATE/bug_report.md
vendored
Normal file
31
.github/ISSUE_TEMPLATE/bug_report.md
vendored
Normal file
@@ -0,0 +1,31 @@
|
||||
---
|
||||
name: Bug report
|
||||
about: Create a report to help us improve
|
||||
title: "[bug-report]"
|
||||
labels: bug
|
||||
assignees: TLINDEN
|
||||
|
||||
---
|
||||
|
||||
**Description**
|
||||
<!-- Please provide a clear and concise description of the issue: -->
|
||||
|
||||
|
||||
**Steps To Reproduce**
|
||||
<!-- Please detail the steps to reproduce the behavior, execute kleingebaeck with the -d option: -->
|
||||
|
||||
|
||||
**Expected behavior**
|
||||
<!-- What do you expected to happen instead? -->
|
||||
|
||||
|
||||
**Version information**
|
||||
<!--
|
||||
Please provide as much version information as possible:
|
||||
- if you have just installed a binary, provide the output of: kleingebaeck --version
|
||||
- if you installed from source, provide the output of: make show-version
|
||||
- provide additional details: operating system and version and shell environment
|
||||
-->
|
||||
|
||||
|
||||
**Additional informations**
|
||||
32
.github/ISSUE_TEMPLATE/bug_report_de.md
vendored
Normal file
32
.github/ISSUE_TEMPLATE/bug_report_de.md
vendored
Normal file
@@ -0,0 +1,32 @@
|
||||
---
|
||||
name: Bugreport Deutsch
|
||||
about: Erzeuge einen Bugreport
|
||||
title: "[bug-report-de]"
|
||||
labels: bug
|
||||
assignees: TLINDEN
|
||||
|
||||
---
|
||||
|
||||
**Beschreibung**
|
||||
<!-- Bitte beschreibe den Fehler klar und möglichst präzise: -->
|
||||
|
||||
|
||||
**Schritte um den Fehler zu reproduzieren**
|
||||
<!-- Bitte gib detailiert an, welche konkreten Schritte zum Fehler
|
||||
geführt haben, führe kleingebaeck mit der Option -d option aus: -->
|
||||
|
||||
|
||||
**Erwartetes Verhalten**
|
||||
<!-- Welches Verhalten hast Du ursprünglich erwartet? -->
|
||||
|
||||
|
||||
**Versionsinformation**
|
||||
<!--
|
||||
Bitte gib uns so viel Versionsinfos wie möglich:
|
||||
- wenn Du nur das Programm installiert hast: kleingebaeck --version
|
||||
- wenn Du von Source installiert hast: make show-version
|
||||
- bitte gib zusätzliche Details an: Betriebssystem + Version, Shellumgebung etc.
|
||||
-->
|
||||
|
||||
|
||||
**Zusätzliche Informationen**
|
||||
23
.github/ISSUE_TEMPLATE/feature_request.md
vendored
Normal file
23
.github/ISSUE_TEMPLATE/feature_request.md
vendored
Normal file
@@ -0,0 +1,23 @@
|
||||
---
|
||||
name: Feature request
|
||||
about: Suggest a feature
|
||||
title: "[feature-request]"
|
||||
labels: feature-request
|
||||
assignees: TLINDEN
|
||||
|
||||
---
|
||||
|
||||
**Description**
|
||||
<!-- Please provide a clear and concise description of the feature you desire: -->
|
||||
|
||||
|
||||
|
||||
**Version information**
|
||||
<!--
|
||||
Just in case the feature is already present, please provide as
|
||||
much version information as possible:
|
||||
- if you have just installed a binary, provide the output of: tablizer --version
|
||||
- if you installed from source, provide the output of: make show-version
|
||||
- provide additional details: operating system and version and shell environment
|
||||
-->
|
||||
|
||||
20
.github/ISSUE_TEMPLATE/feature_request_de.md
vendored
Normal file
20
.github/ISSUE_TEMPLATE/feature_request_de.md
vendored
Normal file
@@ -0,0 +1,20 @@
|
||||
---
|
||||
name: Featurerequest Deutsch
|
||||
about: Empfehle ein neues Feature
|
||||
title: "[feature-request-de]"
|
||||
labels: feature-request
|
||||
assignees: TLINDEN
|
||||
|
||||
---
|
||||
|
||||
**Beschreibung**
|
||||
<!-- Bitte beschreibe das gewünschte Feature klar und möglichst präzise: -->
|
||||
|
||||
|
||||
**Versionsinformation**
|
||||
<!--
|
||||
Bitte gib uns so viel Versionsinfos wie möglich:
|
||||
- wenn Du nur das Programm installiert hast: kleingebaeck --version
|
||||
- wenn Du von Source installiert hast: make show-version
|
||||
- bitte gib zusätzliche Details an: Betriebssystem + Version, Shellumgebung etc.
|
||||
-->
|
||||
7
.github/ISSUE_TEMPLATE/note_to_self.md
vendored
Normal file
7
.github/ISSUE_TEMPLATE/note_to_self.md
vendored
Normal file
@@ -0,0 +1,7 @@
|
||||
---
|
||||
name: Note to self
|
||||
about: Internal bugs and wishes
|
||||
title: "[bug-report]"
|
||||
labels: bug
|
||||
assignees: TLINDEN
|
||||
|
||||
BIN
.github/assets/english.png
vendored
Normal file
BIN
.github/assets/english.png
vendored
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 2.5 KiB |
BIN
.github/assets/english.xcf
vendored
Normal file
BIN
.github/assets/english.xcf
vendored
Normal file
Binary file not shown.
BIN
.github/assets/german.png
vendored
Normal file
BIN
.github/assets/german.png
vendored
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 1.9 KiB |
BIN
.github/assets/german.xcf
vendored
Normal file
BIN
.github/assets/german.xcf
vendored
Normal file
Binary file not shown.
6
.github/workflows/pushimage.yaml
vendored
6
.github/workflows/pushimage.yaml
vendored
@@ -26,3 +26,9 @@ jobs:
|
||||
with:
|
||||
push: true
|
||||
tags: ghcr.io/tlinden/kleingebaeck:${{ github.ref_name}}
|
||||
|
||||
- name: Build and push latest Docker image
|
||||
uses: docker/build-push-action@ad44023a93711e3deb337508980b4b5e9bcdc5dc
|
||||
with:
|
||||
push: true
|
||||
tags: ghcr.io/tlinden/kleingebaeck:latest
|
||||
|
||||
3
.gitignore
vendored
3
.gitignore
vendored
@@ -3,3 +3,6 @@ kleingebaeck
|
||||
releases
|
||||
t/out
|
||||
.bak
|
||||
t/httproot/out
|
||||
t/httproot/kleinanzeigen
|
||||
t/httproot/favicon.ico
|
||||
|
||||
2
Makefile
2
Makefile
@@ -78,7 +78,7 @@ release: buildall
|
||||
|
||||
show-versions: buildlocal
|
||||
@echo "### kleingebaeck version:"
|
||||
@./kleingebaeck -v
|
||||
@./kleingebaeck -V
|
||||
|
||||
@echo
|
||||
@echo "### go module versions:"
|
||||
|
||||
303
README-de.md
Normal file
303
README-de.md
Normal file
@@ -0,0 +1,303 @@
|
||||
## Kleingebäck - kleinanzeigen.de Backup
|
||||
|
||||

|
||||
|
||||
[](https://goreportcard.com/report/github.com/tlinden/kleingebaeck)
|
||||
[](https://github.com/tlinden/kleingebaeck/actions)
|
||||
[](https://raw.githack.com/wiki/tlinden/kleingebaeck/coverage.html)
|
||||

|
||||
[](https://github.com/TLINDEN/kleingebaeck/releases/latest)
|
||||
[](https://github.com/tlinden/kleingebaeck/blob/main/README.md)
|
||||
|
||||
Mit diesem Tool kann man seine Anzeigen bei https://kleinanzeigen.de sichern.
|
||||
|
||||
Es kann alle Anzeigen eines Users (oder nur eine Ausgewählte)
|
||||
inklusive der Bilder herunterladen, die in einem Verzeichnis pro
|
||||
Anzeige gespeichert werden. In dem Verzeichnis wird eine Datei
|
||||
`Adlisting.txt` erstellt, in der sich die Inhalte der Anzeige wie
|
||||
Titel, Preis, Text etc befinden. Bilder werden natürlich auch heruntergeladen.
|
||||
|
||||
## Screenshots
|
||||
|
||||
Das ist die Hauptseite meines kleinanzeigen.de Accounts:
|
||||
|
||||

|
||||
|
||||
Sichern ich meine Anzeigen:
|
||||
|
||||

|
||||
|
||||
Backupverzeichnis nach dem Download:
|
||||
|
||||

|
||||
|
||||
Verzeichnis einer Anzeige:
|
||||
|
||||

|
||||
|
||||
**Das gleiche unter Windows:**
|
||||
|
||||
Anzeigen Sichern:
|
||||
|
||||

|
||||
|
||||
Backupverzeichnis nach dem Download
|
||||
|
||||

|
||||
|
||||
Und eine Anzeige:
|
||||
|
||||

|
||||
|
||||
## Installation
|
||||
|
||||
Das Tool hat keine weiteren Abhängigkeiten und erfordert auch keine
|
||||
Anmeldung oder ähnliches. Man kädt sich einfach die ausführbare Datei
|
||||
für seine Plattform herunter und kann direkt loslegen.
|
||||
|
||||
### Installation des vorcompilierten Programms
|
||||
|
||||
Auf der Seite [des letzten Releases](https://github.com/TLINDEN/kleingebaeck/releases/latest) findet man das Program für sein Betriebssystem und die Plattform (z.b. Windows + Intel)
|
||||
|
||||
Es gibt 2 Varianten:
|
||||
|
||||
1. Direkt das fertige Program für seine Plattform+OS herunterladen,
|
||||
z.B. `kleingebaeck-linux-amd64-0.0.5`, nach `kleingebaeck`
|
||||
umbenennen und in ein Verzeichnis kopieren, das im `PATH` ist,
|
||||
(z.B. nach `$HOME/bin` oder als root nach `/usr/local/bin`).
|
||||
|
||||
Um sicher zu gehen, dass an dem Program nicht verändert wurde, kann
|
||||
man die Signatur vergleichen. Für jeden Download gibt es eine dazu
|
||||
passende Signatur, in unserem Beispiel wäre das
|
||||
`kleingebaeck-linux-amd64-0.0.5.sha256`.
|
||||
|
||||
Zum Verifizieren ausführen:
|
||||
|
||||
```shell
|
||||
cat kleingebaeck-linux-amd64-0.0.5.sha25 && sha256sum kleingebaeck-linux-amd64-0.0.5
|
||||
```
|
||||
Man sollte zweimal den gleichen SHA256 Hash sehen.
|
||||
|
||||
2. Man kann auch einen Tarball (tgz Dateiendung) herunterladen,
|
||||
auspacken und mit GNU Make installieren:
|
||||
|
||||
```shell
|
||||
tar xvfz kleingebaeck-linux-amd64-0.0.5.tar.gz
|
||||
cd kleingebaeck-linux-amd64-0.0.5
|
||||
sudo make install
|
||||
```
|
||||
|
||||
### Installation aus dem Sourcecode
|
||||
|
||||
Man muss eine funktionierende Go Buildumgebung in der Version 1.21
|
||||
installiert haben, um das Programm selber zu compilieren. GNU Make ist
|
||||
hilfreich, aber nicht unbedingt erforderlich.
|
||||
|
||||
Um das Programm zu compilieren, muss man folgende Schritte ausführen:
|
||||
|
||||
```shell
|
||||
git clone https://github.com/TLINDEN/kleingebaeck.git
|
||||
cd kleingebaeck
|
||||
go mod tidy
|
||||
make # (oder make)
|
||||
sudo make install
|
||||
```
|
||||
|
||||
### Docker image benutzen
|
||||
|
||||
Ein fertiges Dockerimage mit der aktuellen Programmversion ist immer
|
||||
verfügbar. Man kann damit z.B. das Tool testen, bevor man es dauerhaft
|
||||
benutzen möchte.
|
||||
|
||||
Um das Image herunterzuladen:
|
||||
```
|
||||
docker pull ghcr.io/tlinden/kleingebaeck:latest
|
||||
```
|
||||
|
||||
Um kleingebäck im Image auszuführen und Daten ins lokale Filesystem zu
|
||||
sichern, kann man so vorgehen:
|
||||
|
||||
```shell
|
||||
mkdir anzeigen
|
||||
docker run -u `id -u $USER` -v ./anzeigen:/backup ghcr.io/tlinden/kleingebaeck:latest -u XXX -v
|
||||
ls -l anzeigen/ein-buch-mit-leeren-seiten
|
||||
total 792
|
||||
drwxr-xr-x 2 scip root 4096 Jan 23 12:58 ./
|
||||
drwxr-xr-x 3 scip scip 4096 Jan 23 12:58 ../
|
||||
-rw-r--r-- 1 scip root 131650 Jan 23 12:58 1.jpg
|
||||
-rw-r--r-- 1 scip root 81832 Jan 23 12:58 2.jpg
|
||||
-rw-r--r-- 1 scip root 134050 Jan 23 12:58 3.jpg
|
||||
-rw-r--r-- 1 scip root 1166 Jan 23 12:58 Adlisting.txt
|
||||
```
|
||||
|
||||
Hier wird der aktuelle User auf den User im Image gemappt und das
|
||||
lokale Verzeichnis `anzeigen` nach `/backup` innerhalb des Images
|
||||
gemountet.
|
||||
|
||||
Die Optionen `-u XXX -v` sind kleingebäck Optionen. Ersetze `XXX`
|
||||
durch Deine tatsächliche kleinanzeigen.de Userid.
|
||||
|
||||
Eine Liste verfügbarer Images findet man [hier](https://github.com/tlinden/kleingebaeck/pkgs/container/kleingebaeck/versions?filters%5Bversion_type%5D=tagged)
|
||||
|
||||
## Kommandozeilen Optionen:
|
||||
|
||||
```
|
||||
Usage: kleingebaeck [-dvVhmoc] [<ad-listing-url>,...]
|
||||
Options:
|
||||
-u --user <uid> Backup ads from user with uid <uid>.
|
||||
-d --debug Enable debug output.
|
||||
-v --verbose Enable verbose output.
|
||||
-o --outdir <dir> Set output dir (default: current directory)
|
||||
-l --limit <num> Limit the ads to download to <num>, default: load all.
|
||||
-c --config <file> Use config file <file> (default: ~/.kleingebaeck).
|
||||
--ignoreerrors Ignore HTTP errors, may lead to incomplete ad backup.
|
||||
-m --manual Show manual.
|
||||
-h --help Show usage.
|
||||
-V --version Show program version.
|
||||
|
||||
If one or more <ad-listing-url>'s are specified, only backup those,
|
||||
otherwise backup all ads of the given user.
|
||||
```
|
||||
|
||||
## Konfiguration
|
||||
|
||||
Man kann anstelle von Kommandlineoptionen auch eine
|
||||
Konfigurationsdatei verwenden. Sie befindet sich standardmäßig in
|
||||
`~/.kleingebaeck` aber man kann mit dem Parameter `-c` auch eine
|
||||
andere Datei angeben.
|
||||
|
||||
Das Format (TOML) ist einfach:
|
||||
|
||||
```
|
||||
user = 1010101
|
||||
loglevel = verbose
|
||||
outdir = "test"
|
||||
```
|
||||
|
||||
Im Source gibt es eine Beispieldatei `example.conf` mit Kommentaren.
|
||||
|
||||
## Umgebungsvariablen
|
||||
|
||||
Man kann darüber hinaus auch Umgebungsvariablen verwenden. Sie
|
||||
entsprechen den Konfigurationsoptionen, aber gross geschrieben mit dem
|
||||
Präfix `KLEINGEBAECK_`, z.B.
|
||||
|
||||
```shell
|
||||
% KLEINGEBAECK_OUTDIR=/backup kleingebaeck -v
|
||||
```
|
||||
|
||||
## Benutzung
|
||||
|
||||
Um das Tool einsetzen zu können, muss man zunächst seine Userid bei
|
||||
kleinanzeigen.de herausfinden. Dazu ruft man am besten die Liste
|
||||
seiner Anzeigen auf, während man NICHT eingeloggt ist:
|
||||
|
||||
https://www.kleinanzeigen.de/s-bestandsliste.html?userId=XXXXXX
|
||||
|
||||
Der `XXXXX` Teil der URL ist die Userid.
|
||||
|
||||
Trage diese Userid in der Konfigurationsdatei ein wie oben
|
||||
beschrieben. Gib ausserdem das Ausgabeverzeichnis an. Dann einfach nur
|
||||
`kleingebaeck` ausführen.
|
||||
|
||||
Innerhalb des Ausgabeverzeichnisses wird sich dann pro Anzeige ein
|
||||
Unterverzeichnis befinden. Pro Anzeige gibt es eine Datei
|
||||
`Adlisting.txt`, die etwa so aussieht:
|
||||
|
||||
```default
|
||||
Title: A book I sell
|
||||
Price: 99 € VB
|
||||
Id: 1919191919
|
||||
Category: Sachbücher
|
||||
Condition: Sehr Gut
|
||||
Created: 10.12.2023
|
||||
|
||||
This is the description text.
|
||||
|
||||
Pay with paypal.
|
||||
```
|
||||
|
||||
Sowie alle Bilder.
|
||||
|
||||
Das Format kann man mit der Variable `template` in der Konfiguration
|
||||
ändern. Die `example.conf` enthält ein Beispiel für das Standard Template.
|
||||
|
||||
## Documentation
|
||||
|
||||
Die Dokumentation kann man
|
||||
[online](https://github.com/TLINDEN/kleingebaeck/blob/main/kleingebaeck.pod)
|
||||
oder lokal lesen mit: `kleingebaeck --manual`. Hat man das Tool mit
|
||||
dem Tarball installiert, funktioniert auch `man kleingebaeck`.
|
||||
|
||||
## Kleingebäck?
|
||||
|
||||
Der Name kommt von "kleinanzeigen backup", verkürzt "klein back", das
|
||||
englisch ausgesprochene "back" (deutsch bäck) führt dann zu "Kleingebäck".
|
||||
|
||||
## Wo bekommt man Hilfe
|
||||
|
||||
Obwohl ich gerne von kleingebäck Benutzern in privaten Mails höre, ist
|
||||
das doch der beste Weg, die Anfrage zu übersehen und zu vergessen.
|
||||
|
||||
Um einen Fehler, ein unerwartetes Verhalten, eine Feature Request oder
|
||||
einen Patch zu übermitteln, eröffne daher bitte einen Issue unter:
|
||||
https://github.com/TLINDEN/kleingebaeck/issues. Danke!
|
||||
|
||||
Bitte gebe den fehlgeschlagenen Befehl an, rufe es auch mit Debugging
|
||||
`-d` auf.
|
||||
|
||||
## Ähnliche Projekte
|
||||
|
||||
Ich konnte kein Projekt finden, das speziell dafür geeignet ist,
|
||||
Anzeigen bei kleinanzeigen.de zu sichern.
|
||||
|
||||
Aber es gibt ein Projekt, mit dem man ebenfalls Backups erstellen
|
||||
kann: [kleinanzeigen-bot](https://github.com/Second-Hand-Friends/kleinanzeigen-bot/).
|
||||
Aber Vorsicht: kleinanzeigen.de bekämpft Bots aktiv, mit diesem hier
|
||||
gibt es regelmäßige Probleme, z.B.:
|
||||
[issue](https://github.com/Second-Hand-Friends/kleinanzeigen-bot/issues/219).
|
||||
Das Hauptproblem ist, dass diese Art von Bot sich mit Deinem Account
|
||||
aktiv einloggt und mit der Seite interagiert. Damit kann die Firma die
|
||||
Aktivitäten recht einfach Deinem User zuordnen und diesen **sperren**!
|
||||
Also sei bitte vorsichtig!
|
||||
|
||||
**Kleingebäck** erfordert keinen Login, es verwendet lediglich die
|
||||
öffentlich verfügbare Webseite und ruft diese auf, wie ein normaler
|
||||
Browser. Tatsächlich gibt es meiner Meinung nach keinen Unterschied zu
|
||||
einem Browserclient: beide laufen auf Anwenderseite auf Initiative
|
||||
eines Benutzers. Und mit welchen Browser ich eine Webseite aufrufe,
|
||||
bleibt immer noch mir überlassen und muss mir nicht von irgendwem
|
||||
vorgeschrieben werden. Das schliesst die Verwendung von Kleingebäck
|
||||
mit ein.
|
||||
|
||||
Hinzu kommt, dass dieses Tool nicht dazu gedacht ist, rund um die Uhr
|
||||
zu laufen. Man ruft es ab und zu mal auf, wenn man halt neue Anzeigen
|
||||
eingestellt hat, vielleicht einmal die Woche oder so. Man weiss ja
|
||||
selber, wann man was geändert hat. Man benötigt trotzdem den Zugriff
|
||||
mit dem Browser oder der mobilen App um Kleinanzeigen.de verwalten zu
|
||||
können.
|
||||
|
||||
Meiner Ansicht nach ist das Risiko also sehr minimal, es handelt sich
|
||||
meiner Meinung nach auch nicht um eine Verletzung der AGBs dort. Aber
|
||||
das ist nur meine persönliche Meinung, bitte beachtet das. Am Ende
|
||||
müsst Ihr selbst einschätzen und beurteilen wie hoch Ihr das Risiko
|
||||
seht und ob Ohr es eingehen möchtet. Für eventuell auftretende
|
||||
Konsequenzen bin ich nicht verantwortlich. Siehe auch [GPL Lizenz](LICENSE).
|
||||
|
||||
Es gibt noch ein weiteres Tool namens
|
||||
[kleinanzeigen-enhanded](https://kleinanzeigen-enhanced.de/). Das ist
|
||||
eine kostenpflichtige vollständige Anzeigenverwaltung für
|
||||
Profinutzer. Man muss eine monatliche Abogebühr bezahlen. Das Tool
|
||||
ist als Browsererweiterung für Google Chrome implementiert, was
|
||||
erklärt, warum sie Anzeigen erstellen, ändern und löschen können,
|
||||
obwohl es gar keine öffentliche API gibt. Sieht nach einer netten
|
||||
ausgereiften Lösung aus. Mit Backups.
|
||||
|
||||
## Copyright und License
|
||||
|
||||
Lizensiert unter der GNU GENERAL PUBLIC LICENSE Version 3.
|
||||
|
||||
## Autor
|
||||
|
||||
T.v.Dein <tom AT vondein DOT org>
|
||||
|
||||
46
README.md
46
README.md
@@ -7,7 +7,9 @@
|
||||
[](https://raw.githack.com/wiki/tlinden/kleingebaeck/coverage.html)
|
||||

|
||||
[](https://github.com/TLINDEN/kleingebaeck/releases/latest)
|
||||
[](https://github.com/tlinden/kleingebaeck/blob/main/README-de.md)
|
||||
|
||||
[Die deutsche Version des READMEs findet Ihr hier](README-de.md).
|
||||
|
||||
This tool can be used to backup ads on the german ad page https://kleinanzeigen.de
|
||||
|
||||
@@ -60,7 +62,7 @@ Go to the [latest release
|
||||
page](https://github.com/TLINDEN/kleingebaeck/releases/latest) and
|
||||
look for your OS and platform. There are two options to install the binary:
|
||||
|
||||
1. Directly download the binary for your platoform,
|
||||
1. Directly download the binary for your platform,
|
||||
e.g. `kleingebaeck-linux-amd64-0.0.5`, rename it to `kleingebaeck`
|
||||
(or whatever you like more!) and put it into your bin dir
|
||||
(e.g. `$HOME/bin` or as root to `/usr/local/bin`).
|
||||
@@ -97,29 +99,37 @@ To install after building either copy the binary or execute `sudo make install`.
|
||||
### Using the docker image
|
||||
|
||||
A pre-built docker image is available, which you can use to test the
|
||||
app without installing it. You need `docker-compose`. Copy the file
|
||||
`docker-compose.yaml` to somewhere, cd to that directory and execute:
|
||||
app without installing it. To download:
|
||||
|
||||
```shell
|
||||
mkdir kleinanzeigen-backup
|
||||
USER_ID=$(id -u) GROUP_ID=$(id -g) OUTDIR=./kleinanzeigen-backup docker-compose run kleingebaeck -u XXX -v
|
||||
docker pull ghcr.io/tlinden/kleingebaeck:latest
|
||||
```
|
||||
|
||||
`USER_ID` and `GROUP_ID` needs to be specified so that you are the
|
||||
owner of the created backups. The backup directory `OUTDIR` must exist
|
||||
prior to the execution, otherwise docker will create it as root, then
|
||||
kleingebaeck will fail. You may also use a `.env` file in the same
|
||||
directory containing the variables, such as:
|
||||
To execute kleingebaeck inside the image and download ads to a local
|
||||
directory, do something like this:
|
||||
|
||||
```
|
||||
USER_ID=1000
|
||||
GROUP_ID=1000
|
||||
OUTDIR=./kleinanzeigen-backup
|
||||
```shell
|
||||
mkdir myads
|
||||
docker run -u `id -u $USER` -v ./myads:/backup ghcr.io/tlinden/kleingebaeck:latest -u XXX -v
|
||||
ls -l myads/ein-buch-mit-leeren-seiten
|
||||
total 792
|
||||
drwxr-xr-x 2 scip root 4096 Jan 23 12:58 ./
|
||||
drwxr-xr-x 3 scip scip 4096 Jan 23 12:58 ../
|
||||
-rw-r--r-- 1 scip root 131650 Jan 23 12:58 1.jpg
|
||||
-rw-r--r-- 1 scip root 81832 Jan 23 12:58 2.jpg
|
||||
-rw-r--r-- 1 scip root 134050 Jan 23 12:58 3.jpg
|
||||
-rw-r--r-- 1 scip root 1166 Jan 23 12:58 Adlisting.txt
|
||||
```
|
||||
|
||||
You may of course also modify the `docker-compose.yaml` to suit your needs.
|
||||
We map the local user to the one inside the image so the permission
|
||||
will match. You'll need to create the directory first before executing
|
||||
docker run. And the local directory `myads` will be mapped to
|
||||
`/backup` inside the container.
|
||||
|
||||
If you want to build the image yourself, use the supplied Dockerfile.
|
||||
The options `-u XXX -v` are kleingebaeck options, replace `XXX` with
|
||||
your actual kleinanzeigen.de user id.
|
||||
|
||||
A list of available images is [here](https://github.com/tlinden/kleingebaeck/pkgs/container/kleingebaeck/versions?filters%5Bversion_type%5D=tagged)
|
||||
|
||||
## Commandline options:
|
||||
|
||||
@@ -246,9 +256,9 @@ daily basis. You cannot use it to view regular ads or maintain your
|
||||
own ads. You'll need to use the mobile app or the browser page with a
|
||||
login. So, in my point of view, the risk is very minimal.
|
||||
|
||||
There is another Tool available named [kleinanzeigen-enhanded](https://kleinanzeigen-enhanced.de/). It is a complete Ad management system targeting primarily commercial users. You have to pay a monthly fee, perhaps there's also a free version available, but I haven't checked. The tool is implemented as a Chrome browser extension, which explains why it was possible to implement it without an API. It seems to be a nice solution for power users by the looks of it. And it includes backups.
|
||||
There is another Tool available named [kleinanzeigen-enhanced](https://kleinanzeigen-enhanced.de/). It is a complete Ad management system targeting primarily commercial users. You have to pay a monthly fee, perhaps there's also a free version available, but I haven't checked. The tool is implemented as a Chrome browser extension, which explains why it was possible to implement it without an API. It seems to be a nice solution for power users by the looks of it. And it includes backups.
|
||||
|
||||
## Copyright und License
|
||||
## Copyright and License
|
||||
|
||||
Licensed under the GNU GENERAL PUBLIC LICENSE version 3.
|
||||
|
||||
|
||||
2
go.mod
2
go.mod
@@ -14,7 +14,7 @@ require (
|
||||
github.com/lmittmann/tint v1.0.4
|
||||
github.com/mattn/go-isatty v0.0.20
|
||||
github.com/spf13/pflag v1.0.5
|
||||
github.com/tlinden/yadu v0.1.0
|
||||
github.com/tlinden/yadu v0.1.1
|
||||
golang.org/x/sync v0.5.0
|
||||
)
|
||||
|
||||
|
||||
2
go.sum
2
go.sum
@@ -62,6 +62,8 @@ github.com/tlinden/yadu v0.0.0-20240118202225-ec3f0b7fc355 h1:EmgK+IGUz2m42bFKte
|
||||
github.com/tlinden/yadu v0.0.0-20240118202225-ec3f0b7fc355/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
|
||||
github.com/tlinden/yadu v0.1.0 h1:qtCi1jxg392qVRLFyrJ2LYu6/PiKSp1LT02EX+mNLME=
|
||||
github.com/tlinden/yadu v0.1.0/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
|
||||
github.com/tlinden/yadu v0.1.1 h1:116oEUy9b4PcMF5wLL2dCFA/sn/praYutOnao07MROw=
|
||||
github.com/tlinden/yadu v0.1.1/go.mod h1:l3bRmHKL9zGAR6pnBHY2HRPxBecf7L74BoBgOOpTcUA=
|
||||
golang.org/x/crypto v0.0.0-20190308221718-c2843e01d9a2/go.mod h1:djNgcEr1/C05ACkg1iLfiJU5Ep61QUkGW8qpdssI0+w=
|
||||
golang.org/x/net v0.0.0-20180218175443-cbe0f9307d01/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
|
||||
golang.org/x/net v0.0.0-20181114220301-adae6a3d119a/go.mod h1:mL1N/T3taQHkDXs73rZJwtUhF3w3ftmwwsq0BUmARs4=
|
||||
|
||||
13
t/httproot/README.md
Normal file
13
t/httproot/README.md
Normal file
@@ -0,0 +1,13 @@
|
||||
# Mock http server
|
||||
|
||||
Install ehfs from https://github.com/mjpclab/extra-http-file-server/.
|
||||
|
||||
Install p2cli from https://github.com/wrouesnel/p2cli.
|
||||
|
||||
Run `templates/render.sh` to build the file structure.
|
||||
|
||||
Run `server.sh` to start the http server.
|
||||
|
||||
To scrape an ad from it, use such a URL:
|
||||
|
||||
http://localhost:8080/s-anzeige/first-ad/111-11-111
|
||||
BIN
t/httproot/img/cdas4sd5-5258-42c2-bf58-as43as5d43as
Normal file
BIN
t/httproot/img/cdas4sd5-5258-42c2-bf58-as43as5d43as
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 37 KiB |
BIN
t/httproot/img/cdas4sd5-5258-42c2-bf58-d1b8e9221574
Normal file
BIN
t/httproot/img/cdas4sd5-5258-42c2-bf58-d1b8e9221574
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 28 KiB |
BIN
t/httproot/img/fcf6d664-5258-42c2-bf58-as43as5d43as
Normal file
BIN
t/httproot/img/fcf6d664-5258-42c2-bf58-as43as5d43as
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 25 KiB |
BIN
t/httproot/img/fcf6d664-5258-42c2-bf58-d1b8e9221574
Normal file
BIN
t/httproot/img/fcf6d664-5258-42c2-bf58-d1b8e9221574
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 28 KiB |
4
t/httproot/serve.sh
Executable file
4
t/httproot/serve.sh
Executable file
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
ehfs -a :/s-anzeige:./kleinanzeigen \
|
||||
-a :/api/v1/prod-ads/images/fc:./img \
|
||||
-l localhost:8080 -I index.html
|
||||
50
t/httproot/templates/ad.tpl
Normal file
50
t/httproot/templates/ad.tpl
Normal file
@@ -0,0 +1,50 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="de">
|
||||
<head>
|
||||
<title>Ad Listing</title>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
<div class="l-container-row">
|
||||
<div id="vap-brdcrmb" class="breadcrump">
|
||||
<a class="breadcrump-link" itemprop="url" href="/" title="Kleinanzeigen ">
|
||||
<span itemprop="title">Kleinanzeigen </span>
|
||||
</a>
|
||||
<a class="breadcrump-link" itemprop="url" href="/egal">
|
||||
<span itemprop="title">{{ category }}</span></a>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
{% for image in images %}
|
||||
<div class="galleryimage-element" data-ix="3">
|
||||
<img src="http://localhost:8080/api/v1/prod-ads/images/fc/{{ image.id }}?rule=$_59.JPG"/>
|
||||
</div>
|
||||
{% endfor %}
|
||||
|
||||
<h1 id="viewad-title" class="boxedarticle--title" itemprop="name" data-soldlabel="Verkauft">
|
||||
{{ title }}</h1>
|
||||
<div class="boxedarticle--flex--container">
|
||||
<h2 class="boxedarticle--price" id="viewad-price">
|
||||
{{ price }}</h2>
|
||||
</div>
|
||||
|
||||
<div id="viewad-extra-info" class="boxedarticle--details--full">
|
||||
<div><i class="icon icon-small icon-calendar-gray-simple"></i><span>{{ created }}</span></div>
|
||||
</div>
|
||||
|
||||
<div class="splitlinebox l-container-row" id="viewad-details">
|
||||
<ul class="addetailslist">
|
||||
<li class="addetailslist--detail">
|
||||
Zustand<span class="addetailslist--detail--value" >
|
||||
{{ condition }}</span>
|
||||
</li>
|
||||
</ul>
|
||||
</div>
|
||||
|
||||
<div class="l-container last-paragraph-no-margin-bottom">
|
||||
<p id="viewad-description-text" class="text-force-linebreak " itemprop="description">
|
||||
{{ text }}
|
||||
</p>
|
||||
</div>
|
||||
</body>
|
||||
</html>
|
||||
15
t/httproot/templates/index.tpl
Normal file
15
t/httproot/templates/index.tpl
Normal file
@@ -0,0 +1,15 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="de" >
|
||||
<head>
|
||||
<title>Ads</title>
|
||||
</head>
|
||||
<body>
|
||||
{% for ad in ads %}
|
||||
<h2 class="text-module-begin">
|
||||
<a class="ellipsis"
|
||||
href="/s-anzeige/{{ ad.slug }}/{{ ad.id }}">{{ ad.title }}</a>
|
||||
</h2>
|
||||
{% endfor %}
|
||||
</body>
|
||||
</html>
|
||||
|
||||
13
t/httproot/templates/render.sh
Executable file
13
t/httproot/templates/render.sh
Executable file
@@ -0,0 +1,13 @@
|
||||
#!/bin/sh -x
|
||||
base="../kleinanzeigen"
|
||||
mkdir -p $base
|
||||
|
||||
echo "Generating /s-bestandsliste.html"
|
||||
p2cli -t index.tpl -i vars.yaml > $base/s-bestandsliste.html
|
||||
|
||||
for idx in 0 1; do
|
||||
slug=$(cat vars.yaml | yq ".ads[$idx].slug")
|
||||
id=$(cat vars.yaml | yq ".ads[$idx].id")
|
||||
mkdir -p $base/$slug/$id
|
||||
cat vars.yaml | yq ".ads[$idx]" | p2cli -t ad.tpl -f yaml > $base/$slug/$id/index.html
|
||||
done
|
||||
27
t/httproot/templates/vars.yaml
Normal file
27
t/httproot/templates/vars.yaml
Normal file
@@ -0,0 +1,27 @@
|
||||
ads:
|
||||
- slug: first-ad
|
||||
id: 111-11-111
|
||||
title: First Ad
|
||||
price: "19 €"
|
||||
condition: "Sehr gut"
|
||||
category: "Weitere Elektronik"
|
||||
created: 21.12.2023
|
||||
images:
|
||||
- id: fcf6d664-5258-42c2-bf58-d1b8e9221574
|
||||
- id: fcf6d664-5258-42c2-bf58-as43as5d43as
|
||||
text: |
|
||||
Zu Verkaufen.
|
||||
Zahlung nur Paypal.
|
||||
- slug: second-ad
|
||||
id: 222-22-222
|
||||
title: Second Ad
|
||||
price: "200 €"
|
||||
condition: "Sehr gut"
|
||||
category: "Elektronik"
|
||||
created: 21.12.2023
|
||||
images:
|
||||
- id: cdas4sd5-5258-42c2-bf58-d1b8e9221574
|
||||
- id: cdas4sd5-5258-42c2-bf58-as43as5d43as
|
||||
text: |
|
||||
Zu Verkaufen.
|
||||
Zahlung nur Überweisung.
|
||||
Reference in New Issue
Block a user