GetTheJobBot
GetTheJobBot ist der Crawler von bekommedenjob, einem Werkzeug für Bewerbungen. Er liest einmal pro Nacht öffentliche Stellenanzeigen, damit Nutzer passende Stellen finden – und verlinkt immer auf die Originalanzeige.
Was er abruft
Nur maschinenlesbare, öffentliche Stellen-Feeds: die Schnittstellen der öffentlichen Arbeitsvermittlungen (Bundesagentur für Arbeit, job-room.ch, EURES) und die Job-Feeds, die Arbeitgeber über ihr Bewerbermanagement veröffentlichen (etwa Personio, Greenhouse, Lever, Recruitee, Ashby, softgarden, d.vinci). Keine Seiten hinter einem Login, keine Bewerbungsformulare.
Wie er sich verhält
- Er liest robots.txt und hält sich an Regeln für „GetTheJobBot“ und für „*“.
- Pro Website höchstens eine Anfrage gleichzeitig, mit Pause dazwischen.
- Eine feste Tagesobergrenze an Anfragen pro Website.
- Antwortet eine Website mit 403 oder 429, hört er für diese Nacht auf und fragt nicht stärker nach.
- Die Arbeitsvermittlungen fragt er nur nach dem, was Nutzer suchen; unveränderte Anzeigen ruft er nicht erneut ab.
- Namen, E-Mail-Adressen und Telefonnummern von Ansprechpartnern werden nicht gespeichert.
Ausschließen
Diese Zeilen in der robots.txt Ihrer Website schließen GetTheJobBot vollständig aus. Er liest robots.txt spätestens alle sechs Stunden neu.
User-agent: GetTheJobBot Disallow: /