سرور یک وبسایت در یک هفته بیش از یک میلیون صفحه تحویل داد، اما سامانه آمارگیری آن فقط ۵٬۹۷۷ بازدید ثبت کرد. پس باقی درخواستها از کجا آمده بودند؟ بررسی لاگهای سرور به پاسخی غیرمنتظره رسید: بخش عمده این درخواستها احتمالاً از سوی رباتها ارسال شده بود. این تجربه نشان میدهد ترافیک خودکار چگونه میتواند منابع سایتها را مصرف کند و آمار کسبوکارها را بههم بریزد.
وقتی آمار بازدید همه واقعیت را نشان نمیدهد
سامانههای مرسوم تحلیل ترافیک همه درخواستهای رسیده به سرور را ثبت نمیکنند؛ بسیاری از آنها برای شمارش بازدید به اجرای جاوااسکریپت وابستهاند، درحالیکه اغلب رباتها چنین کدی را اجرا نمیکنند. بههمیندلیل، مدیر این وبسایت سراغ لاگهای سرور رفت و در آنجا با حجم بزرگی از درخواستهای خودکار روبهرو شد.
گزارش ۲۰۲۶ شرکت Imperva برآورد میکند که در سال ۲۰۲۵ بیش از ۵۳ درصد ترافیک وب مشاهدهشده در مجموعهداده این شرکت، خودکار بوده است؛ یعنی در این دادهها تعداد درخواستهای رباتی از درخواستهای انسانی پیشی گرفته است.
هوش مصنوعی یکی از عوامل افزایش ترافیک خودکار است، اما همه رباتهای وب به آن ارتباط ندارند. موتورهای جستوجو، ابزارهای پایش، رباتهای تجاری و فعالیتهای مخرب نیز در این ترافیک سهم دارند. خزنده وب یا Web Crawler صفحات را بهصورت خودکار پیدا و پیمایش میکند. ابزار استخراج داده یا Web Scraper نیز اطلاعات مشخصی را از این صفحات بیرون میکشد. اگر یک خزنده در مدت کوتاهی هزاران صفحه را درخواست کند، حتی بدون هدف خرابکارانه میتواند منابع سرور را درگیر و پاسخگویی سایت را کُند کند.
چرا نباید همه رباتها را مسدود کرد؟
مسدودکردن تمام رباتها ممکن است دسترسی موتورهای جستوجو، ابزارهای پایش و سرویسهای مفید را مختل کند. راهکار بهتر، شناسایی منشأ درخواستها و تعریف سیاست جداگانه برای رفتارهای مختلف است. مدیران سایت میتوانند از ترکیب این ابزارها استفاده کنند:
- تحلیل لاگ: شناسایی مسیرها و منابعی که بیشترین درخواست را ایجاد میکنند
- محدودسازی نرخ: کنترل تعداد درخواستهای یک نشانی، حساب یا مسیر در بازهای مشخص
- کشکردن پاسخها: ذخیره موقت پاسخهای پرتکرار برای جلوگیری از پردازش چندباره درخواستهای مشابه
- دیواره آتش برنامه وب یا WAF: متوقفکردن برخی درخواستها و الگوهای مخرب پیش از رسیدن به بخشهای اصلی سرویس
در فرمهای ورود، ثبتنام و ارسال نظر نیز میتوان از ابزارهایی مانند Cloudflare Turnstile استفاده کرد. به گفته کلادفلر، این ابزار بدون نمایش کپچاهای تصویری متداول، درخواستها را بررسی میکند تا میان کاربران واقعی و ترافیک خودکار تمایز بگذارد. البته Turnstile جایگزین مدیریت رباتها در تمام صفحات سایت نیست.
این آمار درباره ایران چه میگوید؟
در یک نمای هفتروزه از دادههای رادار کلادفلر در خرداد ۱۴۰۵، ایران با سهم ۷۶٫۲ درصدی درخواستهای رباتی در میان موقعیتهای جغرافیایی دارای بالاترین سهم قرار گرفته بود.
این رقم تصویری مقطعی از ترافیک مشاهدهشده در شبکه کلادفلر است و نباید آن را به تمام اینترنت یا همه وبسایتهای ایرانی تعمیم داد.
برای شناخت وضعیت واقعی هر سایت باید گزارش شبکه توزیع محتوا یا CDN و لاگ سرور آن بررسی شود. این دادهها نشان میدهند کدام مسیرها بیشترین درخواست خودکار را دریافت میکنند، چه رباتهایی منابع بیشتری مصرف میکنند و آیا قواعد امنیتی کاربران واقعی را نیز بهاشتباه مسدود کردهاند.
در آخر؛ مسئله رباتها نیستند، رفتار آنهاست
ترافیک خودکار به بخشی جداییناپذیر از وب تبدیل شده است، اما همه رباتها مضر نیستند. کسبوکارها بهجای مسدودکردن یکپارچه آنها، باید فعالیت مفید را از رفتار پرمصرف یا مخرب جدا کنند، درخواستهای غیرعادی را محدود سازند و قواعد دسترسی را بر اساس دادههای واقعی سرور بهروز نگه دارند.
در وب امروز، پرسش اصلی فقط این نیست که «آیا این درخواست را انسان فرستاده است؟»؛ بلکه باید پرسید: «این درخواست چه ارزشی ایجاد میکند و چه هزینهای روی دست سایت میگذارد؟»
