Zum ersten Mal wurden im Lemmy-Netzwerk mehr als 30.000 Lemmies durch den Crawler erfasst! Zur Feier gibt es ein kleines Update mit weiteren Filtern :)

  • wintermute@feddit.deOPM
    link
    fedilink
    arrow-up
    2
    ·
    3 years ago

    Ein Filter für veraltete Instanzen ist eine gute Idee, werde ich bei Gelegenheit in die Map einbauen!

    Eine kleine Verbesserung wäre es, einen User-Agent Header zu setzen.

    Ich habe letztens 4fun einen nodejs-Crawler geschrieben welchen ich mittlerweile benutze, auch um die GreenFediverse Daten abzugreifen ;)