گزارشهای جدید نشان میدهد ترافیک رباتهای هوش مصنوعی ۶.۵ برابر سریعتر از ترافیک انسانی در حال رشد است؛ موضوعی که زنگ خطر را برای زیرساختهای میزبانی وب به صدا درآورده و میتواند نحوه کارکرد وبسایتها و زیرساختهای میزبانی را تغییر دهد.
بر اساس گزارش تازه شرکت «فستلی» (Fastly)1، در حال حاضر ۸۵ درصد از درخواستهای هوش مصنوعی مربوط به «خزشگرهای هوش مصنوعی» (AI Crawlers) است که برای ساخت، آموزش یا بهروزرسانی دادههای مدلهای زبانی بزرگ، مدام در حال زیر و رو کردن سایتها هستند؛ اما بخش نگرانکنندهتر، ۱۵ درصد باقیمانده است که به واکشی (Fetch) اطلاعات زنده توسط ابزارهایی مانند چتجیپیتی و کلود اختصاص دارد. این بخش با سرعت عجیبی در حال گسترش است؛ بهطوریکه ترافیک مرتبط با ابزار هوش مصنوعی کلود تنها طی پنج ماه ۵۵۵ درصد افزایش یافته است.
بحران اصلی در نحوه پردازش این دادههاست. درخواستهای هوش مصنوعی معمولاً بیشتر از کاربران انسانی به دادههای تازه نیاز دارند و کمتر از حافظه پنهان سرورها استفاده میکنند. به همین دلیل، بیش از ۵۱ درصد این درخواستها مستقیم به سرور اصلی میرسند؛ در حالی که این عدد برای کاربران انسانی کمتر از ۹ درصد است. نتیجه میتواند فشار بیشتر بر زیرساخت و افزایش هزینه نگهداری سایتها باشد.
آمارهای مؤسسه «تولبیت» (TollBit)2 هم نشان میدهد نسبت بازدید رباتهای هوش مصنوعی به بازدیدهای انسانی در میان ناشران تحت بررسی این شرکت بهسرعت افزایش یافته است. این یعنی مسیر کشف محتوا در وب در حال تغییر است؛ کاربر ممکن است کمتر مستقیم وارد سایت شود و بیشتر از ابزارهای هوش مصنوعی بخواهد اطلاعات را برایش پیدا و خلاصه کنند.
در چنین شرایطی، کسبوکارها و تولیدکنندگان محتوا با یکی از بزرگترین تغییرات ساختاری پس از ظهور گوگل روبهرو هستند. چالش جدید، مسدود کردن چشمبسته رباتها نیست؛ بلکه مدیریت هوشمندانه تعاملات ماشینی است. وبسایتها دیگر نمیتوانند فقط برای بازدیدکنندگان انسانی طراحی شوند؛ باید بدانند کدام رباتها مفیدند، کدامها هزینهزا هستند و کدامها باید محدود یا متوقف شوند.
- فستلی (Fastly) یک شرکت زیرساخت وب و شبکه توزیع محتواست که خدماتی مانند CDN، امنیت وب، پردازش لبهای و مدیریت ترافیک ارائه میدهد. گزارش این شرکت از این جهت مهم است که بر پایه دادههای شبکه جهانی خودش نوشته شده؛ البته باید توجه داشت که این دادهها نماینده کل اینترنت نیستند، بلکه رفتار ترافیک در شبکه Fastly را نشان میدهند. ↩︎
- تولبیت (TollBit) شرکتی فعال در حوزه مدیریت و درآمدزایی از ترافیک رباتهای هوش مصنوعی است و به ناشران کمک میکند بفهمند کدام رباتها به محتوای آنها دسترسی دارند. اطلاعات TollBit برای فهم رفتار رباتها در سایتهای ناشران ارزشمند است، اما مثل Fastly باید آن را محدود به شبکه و مشتریان تحت بررسی این شرکت دانست، نه آمار قطعی کل وب. ↩︎
