تصور کنید با ذهنی روبه‌رو هستید که جنگ جهانی دوم، تلویزیون رنگی، کامپیوتر، اینترنت و حتی آنتی‌بیوتیک‌های امروزی را نمی‌شناسد؛ ذهنی که ساعتش در آخرین روز سال ۱۹۳۰ متوقف شده؛ اما پیش از آن هزاران کتاب، روزنامه، مقاله علمی، سند حقوقی و پرونده ثبت اختراع را خوانده است. پژوهشگران این تصور را به واقعیت تبدیل کرده‌اند و یک مدل هوش مصنوعی به نام «تاکی» ساخته‌اند؛ چت‌باتی که به ما نشان می‌دهد جهانِ پیش از عصر دیجیتال، از دریچه دانسته‌ها و باورهای مردم آن زمان چگونه دیده می‌شد.
بیشتر چت‌بات‌های امروزی با حجم زیادی از محتوای اینترنتی آموزش می‌بینند؛ از مقاله‌های علمی و دانشنامه‌ها گرفته تا پست‌های شبکه‌های اجتماعی، بحث‌های کاربران و حتی مطالب کم‌اعتبار. به همین دلیل، ممکن است در کنار اطلاعات درست، شایعات، تعصب‌ها و خطاهای رایج در اینترنت را نیز یاد بگیرند.
تاکی به‌جای محتوای اینترنت، سراغ نوشته‌های انگلیسی پیش از سال ۱۹۳۱ رفته است. پژوهشگران این مدلِ ۱۳ میلیارد پارامتری را با حدود ۲۶۰ میلیارد توکن آموزش داده‌اند؛ یعنی کتاب‌ها، روزنامه‌ها، پوسترها، مقاله‌های علمی و اسناد تاریخی را به واحدهای کوچک زبانی تبدیل کرده‌اند تا مدل بتواند الگوهای موجود در آنها را یاد بگیرد. هر توکن ممکن است یک کلمه، بخشی از یک کلمه یا حتی یک نشانه نگارشی باشد.
