Target Model:
██╗ ██╗ ███╗ ███╗ ██████╗██╗ ██╗ ██████╗ ███████╗███╗ ██╗██╗ ██╗███╗ ███╗██████╗ ██████╗ ██╗ ██╗ ██║ ██║ ████╗ ████║ ██╔════╝██║ ██║ ██╔══██╗██╔════╝████╗ ██║██║ ██║████╗ ████║██╔══██╗██╔══██╗██║ ██║ ██║ ██║ ██╔████╔██║ ██║ ██║ ██║ ██████╔╝█████╗ ██╔██╗ ██║███████║██╔████╔██║██████╔╝██████╔╝███████║ ██║ ██║ ██║╚██╔╝██║ ██║ ██║ ██║ ██╔══██╗██╔══╝ ██║╚██╗██║██╔══██║██║╚██╔╝██║██╔══██╗██╔══██╗╚════██║ ███████╗███████╗██║ ╚═╝ ██║ ╚██████╗███████╗██║ ██████╔╝███████╗██║ ╚████║██║ ██║██║ ╚═╝ ██║██████╔╝██║ ██║ ██║ ╚══════╝╚══════╝╚═╝ ╚═╝ ╚═════╝╚══════╝╚═╝ ╚═════╝ ╚══════╝╚═╝ ╚═══╝╚═╝ ╚═╝╚═╝ ╚═╝╚═════╝ ╚═╝ ╚═╝ ╚═╝
Local LLM Hardware Scanner & Benchmark Suite [v2.5.0-release]
Type 'help' to view available commands or 'llm-scan' to profile your system hardware.
user@localllm-cli:~$
Mathematische Transparenz & KV-Cache-Physik
Anders als einfache Faustformeln berechnet der GROMASTRA Hardware Rechner den Speicherbedarf exakt auf Basis der Transformer-Architektur:
KV-Cache Bytes = 2 (Key + Value) × Layers × KV-Heads × Head-Dimension × Context-Tokens × Bytes-pro-Element × Batch
Für Llama 3.3 70B (80 Layer, 8 KV-Heads mit Grouped-Query Attention, 128 Head-Dim, 32'768 Tokens Kontext) beträgt der KV-Cache in FP16 exakt 10.74 GB (10.00 GiB). Mit 8-Bit-Cache-Quantisierung sinkt dieser auf 5.37 GB, mit 4-Bit auf 2.68 GB.