یان لوکان (Yann LeCun) حق داشت تصور کنید یه مدل هوش مصنوعی با فقط ۱۰۹ میلیون پارامتر بتونه از مدلی با ۷۲ میلیارد پارامتر بهتر عمل کنه! شاید در نگاه اول عجیب به نظر برسه، اما تحقیقات جدید لوکان و رندال بالستریرو (Randall Balestriero) دقیقاً چنین چیزی رو نشون می‌ده. لوکان سال‌هاست که می‌گه چیزی که باعث می‌شه یه مدل هوش مصنوعی دنیا رو درک کنه، صرفاً بزرگ‌تر کردنش نیست. با این حال، متا روی خلاف این ایده سرمایه‌گذاری کرد. لوکان هم در ماه نوامبر از متا جدا شد و آزمایشگاه تحقیقاتی خودش رو در پاریس راه انداخت. پنجشنبه‌ی هفته‌ی گذشته، اون به همراه بالستریرو مقاله‌ای منتشر کرد که می‌تونه نگاه ما به آموزش مدل‌های هوش مصنوعی رو تغییر بده. اونا فرضیه‌ای به اسم Platonic Representation Hypothesis رو بررسی و به‌صورت ریاضی اثبات کردن. این فرضیه می‌گه مدل‌های هوش مصنوعی، حتی اگه با داده‌های متفاوتی مثل متن، تصویر یا صدا آموزش ببینن، در نهایت به درک مشترک و مشابهی از جهان می‌رسن؛ انگار همه‌شون به یه تصویر واحد از واقعیت دست پیدا می‌کنن. تا الان تصور غالب این بوده که برای رسیدن به چنین درکی، باید مدل‌ها رو هرچه بزرگ‌تر کنیم و با حجم عظیمی از داده‌ها آموزش بدیم. اما تحقیقات جدید نشون می‌ده که روش آموزش مدل خیلی مهم‌تر از اندازه‌ی اونه! لوکان و بالستریرو نشون دادن که تحت شرایط ریاضی مشخص، دو مدل مبتنی بر معماری JEPA می‌تونن کاملاً مستقل از هم آموزش ببینن و در نهایت به نمایش تقریباً یکسانی از جهان برسن. نکته‌ی جالب اینجاست که این دو مدل حتی نیازی به داده‌های مشترک یا آموزش با جفت‌های متن و تصویر ندارن! یکی از مدل‌ها با مشاهده‌ی تصاویر مختلف از یک صحنه آموزش می‌بینه و مدل دیگه با توضیحات و توصیف‌های متفاوت از همون صحنه. با وجود این تفاوت، هر دو در نهایت می‌تونن به درک مشترکی از واقعیت دست پیدا کنن. در واقع، چیزی که اهمیت داره این نیست که مدل چقدر بزرگه؛ بلکه اینه که چه اطلاعاتی رو و به چه شکلی در اختیارش قرار می‌دیم. برای مثال، یه عکس و توضیحی که زیر همون عکس نوشته شده، دو نمای متفاوت از یه چیز واحد هستن. مدل‌هایی که با چنین جفت‌هایی آموزش می‌بینن، خیلی سریع‌تر به درک مشترکی از موضوع می‌رسن. اما دو پاراگراف که از یه سند واحد برداشته شدن، لزوماً دو نمای متفاوت از یه مفهوم واحد نیستن و آموزش مدل با چنین داده‌هایی می‌تونه خیلی کندتر و پرهزینه‌تر باشه. اینجاست که روش رایج پیش‌بینی کلمه‌ی بعدی (Next-Token Prediction) وارد ماجرا می‌شه؛ همون روشی که تقریباً تمام چت‌بات‌های امروزی ازش استفاده می‌کنن. نتایج آزمایش‌ها واقعاً جالبه: روش مبتنی بر هم‌ترازی نمایش‌ها تونسته با استفاده از ۲۱.۶ میلیون نمونه به نتیجه‌ای مشابه برسه که روش پیش‌بینی کلمه‌ی بعدی برای رسیدن بهش به ۹۰۰ میلیون نمونه نیاز داره. یعنی رسیدن به هم‌ترازی مشابه بین متن و تصویر با حدود ۴۲ برابر داده‌ی آموزشی کمتر! اما شاید شگفت‌انگیزترین بخش ماجرا این باشه که یه مدل متنی JEPA با فقط ۱۰۹ میلیون پارامتر تونسته در آزمون‌های هم‌ترازی بین‌وجهی (Cross-Modal Alignment)، حتی از مدل‌های زبانی بسیار بزرگ تا سقف ۷۲ میلیارد پارامتر هم بهتر عمل کنه. به عبارت دیگه، مدلی که حدود ۶۶۰ برابر کوچیک‌تره، تونسته در این نوع از درک و هم‌ترازی، عملکرد بهتری از مدل‌های غول‌پیکر داشته باشه. شاید وقتش رسیده این تصور رو کنار بذاریم که آینده‌ی هوش مصنوعی فقط به مدل‌های بزرگ‌تر، دیتاسنترهای عظیم‌تر و میلیاردها پارامتر بیشتر وابسته است. شاید مسیر رسیدن به هوش مصنوعی واقعاً هوشمند، نه در بزرگ‌تر کردن مدل‌ها، بلکه در پیدا کردن روش‌های بهتر برای یادگیری و درک جهان باشه. https://www.alphaxiv.org/abs/2610.39302 @DevTwitter | <Reza Jafari/>

بیشتر ایجنت‌های هوش مصنوعی برای گشت‌وگذار در وب از Headless Chrome استفاده می‌کنن؛ یعنی یک مرورگر دسکتاپ کامل که بدون رابط گرافیکی اجرا می‌شه. اما پروژه Lightpanda تصمیم گرفته این مسیر رو از پایه تغییر بده! ابزار Lightpanda یک مرورگر Headless هست که از ابتدا برای ایجنت‌های هوش مصنوعی و سیستم‌های اتوماسیون ساخته شده؛ نه نسخه‌ای از Chromium هست و نه وصله‌ای برای WebKit. این مرورگر با زبان برنامه‌نویسی Zig توسعه داده شده. نتایج بنچمارک اون واقعاً جالبه: در آزمایشی روی AWS EC2 m5.large، تعداد ۹۳۳ صفحه وب واقعی درخواست شده. برای پردازش ۱۰۰ صفحه: - مصرف حافظه در Lightpanda فقط ۱۲۳ مگابایت بوده، درحالی‌که Headless Chrome حدود ۲ گیگابایت مصرف کرده؛ یعنی تقریباً ۱۶ برابر کمتر! - زمان اجرا ۵ ثانیه بوده، درحالی‌که Chrome همین کار رو در ۴۶ ثانیه انجام داده؛ یعنی حدود ۹ برابر سریع‌تر! نکته جالب اینه که Lightpanda یک سرور CDP هم ارائه می‌ده؛ بنابراین می‌تونی اسکریپت‌های Puppeteer یا Playwright رو بهش متصل کنی. برای نصب هم روش‌های مختلفی مثل Homebrew، AUR، نسخه‌های Nightly، Nix و Docker در دسترسه. چرا این پروژه مهمه؟ چون وقتی ایجنت‌های هوش مصنوعی قراره صدها یا هزاران صفحه وب رو بررسی کنن، مصرف حافظه و سرعت اجرای مرورگر اهمیت زیادی پیدا می‌کنه. استفاده از یک مرورگر سبک‌تر می‌تونه هزینه اجرای اتوماسیون‌ها رو کاهش بده و امکان اجرای تعداد بیشتری از وظایف رو فراهم کنه. این پروژه در زمان انتشار این معرفی، ۳۹٬۱۵۰ ستاره و ۱۱٬۴۴۹ کامیت داشته. نکته شفافیت: README پروژه بررسی شده، اما کد اجرا و آزمایش نشده. https://github.com/lightpanda-io/browser @DevTwitter | <Yarad/>

با این سایت‌ها تیغه‌های فکریتون رو تیز کنید: ۱. سایت fs.blog — در مورد مدل‌های فکری و تئوری تصمیم گیری،‌ کتاب چهار جلدیش Mental Models هم شدیدا پیشنهاد می‌کنم. ۲. سایت yourbias.is — سوگیری‌ها و باگ‌های فکری که شما رو توی چاه می‌ندازه لیست کرده. ۳. سایت etymonline.com — این و خیلی دوست دارم. پشت اکثر کلمات ریشه‌ی اون کلمه هست که پر از حکمت و دانش هست. مثلا Character ریشه یونانیش این معنی رو داره: خط و خطوطی که بر اثر تراشیدن شکل گرفته. زیبا نیست؟ :| ۴. سایت onelook.com/reverse-dictionary.shtml — یه ایده‌ یا تعریفی اگر تو ذهنتون هست رو براش می‌نویسید، کلمه معادلش و بهتون می‌گه. ۵. سایت psyche.co — مقاله‌های عمیقی در باب روان‌شناسی داره ۶. سایت fivebooks.com — از خوبان هر دو عالم، توی هر زمینه و رشته‌ای، خفن‌ترین آدم‌ها روزگار، پنج‌تا از کتاب‌های مورد علاقشون رو پیشنهاد می‌کنن. ۷. سایت aldaily.com — پر از مقاله‌های ادایی هست. ایده‌های جالب و ارتودکس ۸. سایت yourlogicalfallacyis.com — اگر اهل کل‌کل (گفت‌وگو و بحث کردن) هستین، گزاره‌هاتون رو بهش می‌گین، بهتون می‌گه باگ یا اشکال بحثتون کجاست. @DevTwitter | <Amir Afianian/>