فایل llms.txt برای کنترل خزش هوش مصنوعی به وجود آمده است. با گسترش سریع کاربرد مدل های زبانی بزرگ و ابزارهای هوش مصنوعی در جمع آوری اطلاعات وب سایت ها، پرسش های تازه ای درباره نحوه استفاده از محتوا و مدیریت دسترسی به آن شکل گرفته است. در واکنش به این چالش، جرمی هاورد، متخصص فناوری از استرالیا، راه حلی با عنوان استاندارد llms.txt معرفی کرده که هدف آن بهبود ارتباط میان پلتفرم های هوش مصنوعی و صاحبان وب سایت ها می باشد.
