---
title: "Crawler"
canonical_url: "https://www.flow4.com/glossar/crawler/"
markdown_url: "https://www.flow4.com/glossar/crawler.md"
content_type: "flow4_glossar"
language: "de"
date_published: "2026-08-17T10:37:31+00:00"
date_modified: "2026-08-17T10:37:31+00:00"
description: "## Was ist ein Crawler? Ein Crawler ist ein automatisiertes Programm, das Webseiten und andere öffentlich erreichbare Ressourcen abruft, Links verfolgt und gefundene Informationen an ein nachgelagertes System übermittelt. Suchmaschinen nutzen Crawler zur Entdeckung von Inhalten. Auch KI-Anbieter können eigene…"
markdown_token_count: "approximate"
---

# Crawler

## Was ist ein Crawler?

Ein Crawler ist ein automatisiertes Programm, das Webseiten und andere öffentlich erreichbare Ressourcen abruft, Links verfolgt und gefundene Informationen an ein nachgelagertes System übermittelt.

Suchmaschinen nutzen Crawler zur Entdeckung von Inhalten. Auch KI-Anbieter können eigene Bots für Suche, Benutzerabrufe oder Modelltraining einsetzen. Der genaue Zweck hängt vom jeweiligen Dienst ab. Website-Betreiber können Zugriffe technisch steuern und in Serverprotokollen untersuchen.

**Warum relevant?** Nur Inhalte, die ein gewünschter Crawler zuverlässig erreicht und verarbeitet, können in dessen Such- oder Antwortsystem berücksichtigt werden.

## Verwandte Begriffe

- [Crawling](https://www.flow4.com/glossar/crawling/)
- [KI-Crawler](https://www.flow4.com/glossar/ki-crawler/)
- [robots.txt](https://www.flow4.com/glossar/robots-txt/)
- [LLM Observability](https://www.flow4.com/glossar/llm-observability/)