Die KI.Toolbox besteht aus mehreren Komponenten, insbesondere einem Web-Frontend und Large Language Modellen (LLM) im Backend. Das Frontend bietet Nutzer*Innen ein Webinterface, um Benutzeranfragen eingeben zu können. Weiterhin kann das LLM ausgewählt und Einstellungen vorgenommen werden. Das Frontend leitet alle Anfragen an das ausgewählte LLM weiter. Es wird hierbei aus Datenschutzgründen zwischen lokal beim KIT selbst gehostete Open-Source-LLM und externen LLM von Drittanbietern unterschieden. Die externen LLM sind im Webinterface als solche gekennzeichnet.