---
title: "Crawling"
canonical_url: "https://www.flow4.com/glossar/crawling/"
markdown_url: "https://www.flow4.com/glossar/crawling.md"
content_type: "flow4_glossar"
language: "de"
date_published: "2026-08-17T10:37:32+00:00"
date_modified: "2026-08-17T10:37:32+00:00"
description: "## Was bedeutet Crawling? Crawling ist der automatisierte Prozess, bei dem ein Bot URLs abruft, Inhalte erfasst und vorhandenen Links zu weiteren Ressourcen folgt. Crawling ist eine Voraussetzung für viele Formen der maschinellen Auffindbarkeit, führt aber nicht automatisch zur Indexierung…"
markdown_token_count: "approximate"
---

# Crawling

## Was bedeutet Crawling?

Crawling ist der automatisierte Prozess, bei dem ein Bot URLs abruft, Inhalte erfasst und vorhandenen Links zu weiteren Ressourcen folgt.

Crawling ist eine Voraussetzung für viele Formen der maschinellen Auffindbarkeit, führt aber nicht automatisch zur Indexierung oder Zitierung. Zugriffsregeln, Serverantworten, interne Links, Sitemaps und technische Barrieren beeinflussen, welche Inhalte erreicht werden. Verschiedene Crawler können dieselbe Website unterschiedlich behandeln.

**Warum relevant?** Fehler in der Crawl-Steuerung können dazu führen, dass wichtige Seiten übersehen und unwichtige URL-Varianten unnötig oft abgerufen werden.

## Verwandte Begriffe

- [Crawler](https://www.flow4.com/glossar/crawler/)
- [Indexierung](https://www.flow4.com/glossar/indexierung/)
- [Crawl-Budget](https://www.flow4.com/glossar/crawl-budget/)
- [XML-Sitemap](https://www.flow4.com/glossar/xml-sitemap/)