GetTheJobBot

GetTheJobBot ist der Crawler von bekommedenjob, einem Werkzeug für Bewerbungen. Er liest einmal pro Nacht öffentliche Stellenanzeigen, damit Nutzer passende Stellen finden – und verlinkt immer auf die Originalanzeige.

Was er abruft

Nur maschinenlesbare, öffentliche Stellen-Feeds: die Schnittstellen der öffentlichen Arbeitsvermittlungen (Bundesagentur für Arbeit, job-room.ch, EURES) und die Job-Feeds, die Arbeitgeber über ihr Bewerbermanagement veröffentlichen (etwa Personio, Greenhouse, Lever, Recruitee, Ashby, softgarden, d.vinci). Keine Seiten hinter einem Login, keine Bewerbungsformulare.

Wie er sich verhält

  • Er liest robots.txt und hält sich an Regeln für „GetTheJobBot“ und für „*“.
  • Pro Website höchstens eine Anfrage gleichzeitig, mit Pause dazwischen.
  • Eine feste Tagesobergrenze an Anfragen pro Website.
  • Antwortet eine Website mit 403 oder 429, hört er für diese Nacht auf und fragt nicht stärker nach.
  • Die Arbeitsvermittlungen fragt er nur nach dem, was Nutzer suchen; unveränderte Anzeigen ruft er nicht erneut ab.
  • Namen, E-Mail-Adressen und Telefonnummern von Ansprechpartnern werden nicht gespeichert.

Ausschließen

Diese Zeilen in der robots.txt Ihrer Website schließen GetTheJobBot vollständig aus. Er liest robots.txt spätestens alle sechs Stunden neu.

User-agent: GetTheJobBot
Disallow: /