Robots

# intuitum.xyz — crawl it.
#
# We build systems that make software legible to the machines that write it.
# Hiding the site from those machines would be a strange way to start.
#
# Humans: the source of this site is worth more to you than this file.
#         Reading it in a browser? /robots is this file, annotated, with the
#         rest of the site's chrome around it.
# Agents:  /llms.txt is a map written for you, in markdown, without the chrome.
# Finding a security issue: /.well-known/security.txt

# ── Everyone ─────────────────────────────────────────────────────────────────
User-agent: *
Allow: /
Disallow: /api/

# ── AI crawlers and assistants, welcomed by name ──────────────────────────────
# Listed deliberately rather than left to the wildcard. Two reasons:
#
#   1. It is a statement. We would rather be read than not.
#   2. A named group REPLACES the * group for that agent — crawlers obey the
#      single most specific match, they do not merge groups. So the Disallow
#      below is repeated, not inherited. If you edit one group, edit both.
#
# These are three different things, often confused:
#   training crawlers    GPTBot, ClaudeBot, CCBot, Google-Extended, …
#   search indexers      OAI-SearchBot, Claude-SearchBot, PerplexityBot
#   user-triggered fetch ChatGPT-User, Claude-User, Perplexity-User — a person
#                        asked a question and the assistant is reading this page
#                        to answer it. Blocking these is blocking a reader.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
User-agent: CCBot
User-agent: cohere-ai
User-agent: Amazonbot
User-agent: DuckAssistBot
Allow: /
Disallow: /api/

# /unsubscribe is deliberately NOT disallowed here. It already sends
# `noindex` in its own metadata, and a crawler blocked by robots.txt never
# fetches the page, so it never sees that header — which is exactly how a URL
# ends up listed in search results with no content behind it. Letting it be
# crawled is what keeps it out of the index.

Sitemap: https://intuitum.xyz/sitemap.xml

#
#                           =#@@@@@@@@@@@@%=.
#                       -%@@@@@@@@@@@@@@@@@@@@@=
#                    .#@@@@@@@@@@@@@@@@@@@@@@@@@@%:
#                   #@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@%.
#                 -@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@+
#                +@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@#
#               =@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@*
#              .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@-
#              *@@@@@@@%#*+++*#@@@@@@@@@@@@@@@@@@@@@@@@@%
#              %@%=    .:--::      :*@@@@@@@@@@@@@@@@@@@@.
#               .+%@@@@@@@@@@@@@@%-    +@@@@@@@@@@@@@@@@@.
#            -%@@@@@@@@@@@@@@@@+         :@@@@@@@@@@@@@@@ :
#          +@@@@@@@@@@@@@@@@%:             -@@@@@@@@@@@@* #@#
#        =@@@@@@@@@@@@@@@@@:                 %@@@@@@@@@@:.@@@@=
#       #@@@@@@@@@@@@@@@@#                    #@@@@@@@@= +@@@@@%
#      %@@@@@@@@@@@@@@@@*                      @@@@@@@= -@@@@@@@%
#     #@@@@@@@@@@@@@@@@%                       =@@@@@: :@@@@@@@@@#
#    =@@@@@@@@@@@@@@@@@:                        @@@+  +@@@@@@@@@@@=
#    #@@@@@@@@@@@@@@@@#                         #+  :%@@@@@@@@@@@@#
#    @@@@@@@@@@@@@@@@@*                           -%@@@@@@@@@@@@@@@
#    @@@@@@@@@@@@@@@@@+  %=                    :#@@@@@@@@@@@@@@@@@@
#    %@@@@@@@@@@@@@@@@*  %@@@@*=:        .-+%@@@@@@@@@@@@@@@@@@@@@%
#    +@@@@@@@@@@@@@@@@@. =@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@=
#     %@@@@@@@@@@@@@@@@*  %@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@%
#     .@@@@@@@@@@@@@@@@@= .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@.
#      .@@@@@@@@@@@@@@@@@+ .@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@.
#        #@@@@@@@@@@@@@@@@#  *@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@*
#         .%@@@@@@@@@@@@@@@@+ .%@@@@@@@@@@@@@@@@@@@@@@@@@@@@%.
#            *@@@@@@@@@@@@@@@@#. +@@@@@@@@@@@@@@@@@@@@@@@@*
#              .+@@@@@@@@@@@@@@@@#: =%@@@@@@@@@@@@@@@@%=
#                   .-+*####*+-.         -=**##*+=:
#