Skip to content

My first start was to build my own comparison portal with Basic GUI. If desired, we scrape data from several sites in order to be able to find the best price directly

Notifications You must be signed in to change notification settings

Oliverwebdev/WebCrawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

27 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Smart Shopping Assistant 🛍️

Ein intelligenter Shopping-Assistant, der aktuell eBay-Produkte durchsucht und analysiert, mit dem langfristigen Ziel, eine umfassende Cross-Platform-Shopping-Lösung zu werden.

🌟 Features

Aktuelle Funktionen

  • Intelligente eBay-Suche

    • Parallele Verarbeitung mehrerer Suchanfragen
    • Fortschrittliche Fehlerbehandlung und Retry-Mechanismen
    • Dynamische User-Agent-Rotation fĂĽr stabilere Anfragen
    • Proxy-UnterstĂĽtzung fĂĽr verbesserte Skalierbarkeit
  • Benutzerfreundliche GUI

    • Moderne, responsive Benutzeroberfläche mit Tkinter
    • Echtzeit-Suchfortschrittsanzeige
    • Erweiterte Filteroptionen (Preis, Zustand)
    • Sortierungsmöglichkeiten nach verschiedenen Kriterien
  • Favoriten-System

    • Speichern und Verwalten von interessanten Produkten
    • Persistente Speicherung der Favoriten
    • KontextmenĂĽ fĂĽr schnelle Aktionen
    • Doppelklick-Funktion fĂĽr Produktdetails
  • Datenmanagement

    • JSON-basierte Datenspeicherung
    • Thread-sichere Implementierung
    • Automatische Backup-Funktionalität
    • Konfigurierbare Einstellungen

🚀 Installation

# Repository klonen
git clone https://github.com/yourusername/smart-shopping-assistant.git
cd smart-shopping-assistant

# Virtuelle Umgebung erstellen und aktivieren
python -m venv venv
source venv/bin/activate  # Linux/Mac
.\venv\Scripts\activate   # Windows

# Abhängigkeiten installieren
pip install -r requirements.txt

🛠️ Technische Anforderungen

  • Python 3.8+
  • Required Packages:
    • tkinter
    • requests
    • beautifulsoup4
    • fake-useragent
    • threading
    • logging

📦 Projektstruktur

smart-shopping-assistant/
├── main.py              # Haupteinstiegspunkt
├── gui.py              # GUI-Implementierung
├── ebay_scraper.py     # eBay-Scraping-Logik
├── config.py           # Konfigurationseinstellungen
├── utils.py            # Hilfsfunktionen
├── data/               # Gespeicherte Daten
└── logs/               # Logging-Dateien

🎯 Roadmap

Kurzfristige Ziele

  • Integration weiterer E-Commerce-Plattformen (Amazon, Idealo)
  • Preisvergleich zwischen verschiedenen Plattformen
  • Preishistorie und Preiswarnungen
  • Erweiterte Filtermöglichkeiten
  • Export-Funktionen fĂĽr Suchergebnisse

Mittelfristige Ziele

  • Machine Learning fĂĽr Produktempfehlungen
  • Automatische Kategorisierung von Produkten
  • Browser-Extension fĂĽr direktes Speichern
  • Mobile App Integration
  • API-Schnittstelle fĂĽr externe Dienste

Langfristige Vision

  • Vollständige Shopping-Automatisierung
  • KI-basierte Preisvorhersagen
  • Soziale Shopping-Features
  • Internationale Marktplatz-Integration
  • Automatische Deal-Erkennung

🤝 Beitragen

Beiträge sind willkommen! Bitte beachten Sie folgende Schritte:

  1. Fork des Repositories
  2. Feature-Branch erstellen (git checkout -b feature/AmazingFeature)
  3. Änderungen committen (git commit -m 'Add some AmazingFeature')
  4. Branch pushen (git push origin feature/AmazingFeature)
  5. Pull Request erstellen

⚠️ Rechtliche Hinweise

  • Dieses Tool ist nur fĂĽr persönliche Verwendung gedacht
  • Bitte beachten Sie die Nutzungsbedingungen der jeweiligen Plattformen
  • Scraping-Aktivitäten sollten die Server-Ressourcen respektieren

📝 Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert - siehe die LICENSE Datei fĂĽr Details.

🙏 Danksagung

Besonderer Dank gilt:

  • Der Python-Community fĂĽr die groĂźartigen Bibliotheken
  • Allen Mitwirkenden und UnterstĂĽtzern des Projekts
  • Der Open-Source-Community fĂĽr Inspiration und Ressourcen

To do

Ebay, Amazon, Otto gehen

Kaufland zu starke anti bot maĂźnahmen

Idealo, kleinanzeigen, saturn, zalando fehlen noch

About

My first start was to build my own comparison portal with Basic GUI. If desired, we scrape data from several sites in order to be able to find the best price directly

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published