---
title: "robots.txt"
canonical_url: "https://www.flow4.com/glossar/robots-txt/"
markdown_url: "https://www.flow4.com/glossar/robots-txt.md"
content_type: "flow4_glossar"
language: "de"
date_published: "2026-08-17T10:36:45+00:00"
date_modified: "2026-08-17T10:36:45+00:00"
description: "## Was ist eine robots.txt? Die robots.txt ist eine Textdatei am Stamm einer Website, die kooperierenden Crawlern mitteilt, welche Pfade sie abrufen dürfen oder nicht abrufen sollen. Regeln können nach User-Agent unterschieden werden. Die Datei dient der Crawl-Steuerung, ist aber…"
markdown_token_count: "approximate"
---

# robots.txt

## Was ist eine robots.txt?

Die robots.txt ist eine Textdatei am Stamm einer Website, die kooperierenden Crawlern mitteilt, welche Pfade sie abrufen dürfen oder nicht abrufen sollen.

Regeln können nach User-Agent unterschieden werden. Die Datei dient der Crawl-Steuerung, ist aber kein zuverlässiger Zugriffsschutz und entfernt Seiten nicht automatisch aus einem Suchindex. Für KI-Dienste sollten Unternehmen getrennt prüfen, welche Bots welchem Zweck dienen und welche Richtlinie gewünscht ist.

**Warum relevant?** Eine fehlerhafte Regel kann wichtige Inhalte blockieren; eine zu offene Konfiguration kann unnötige oder unerwünschte Abrufe ermöglichen.

## Verwandte Begriffe

- [Crawler](https://www.flow4.com/glossar/crawler/)
- [KI-Crawler](https://www.flow4.com/glossar/ki-crawler/)
- [Noindex](https://www.flow4.com/glossar/noindex/)
- [Crawling](https://www.flow4.com/glossar/crawling/)