10خطر و ریسک هوش مصنوعی و راه‌های مدیریت آن‌ها

هوش مصنوعی (AI) پتانسیل عظیمی دارد، اما برای به‌دست آوردن کامل منافعش لازم است با مخاطرات آن روبه‌رو شویم و آنها را کنترل کنیم. همان سامانه‌های پیشرفته‌ای که برای کشف داروهای نو، تشخیص بیماری‌ها، مقابله با تغییر اقلیم، حفاظت از حیات‌وحش و حفظ تنوع زیستی به‌کار می‌روند، می‌توانند به الگوریتم‌های جانبدار، فناوری‌هایی که امنیت یا حریم خصوصی را تهدید می‌کنند، و حتی خطرات جدی برای انسان‌ها منجر شوند.

در ادامه با ده خطر مهم هوش مصنوعی آشنا می‌شویم و برای هر کدام راهکارهای کاربردی و قابل اجرا ارائه می‌کنم. بسیاری از این ریسک‌ها قابل کاهش‌اند؛ اما نیاز به اقدام فعال از سوی متخصصان AI، توسعه‌دهندگان، سازمان‌ها و نهادهای قانون‌گذار وجود دارد.

آنچه در ادامه خواهید خواند:

• سوگیری (Bias)
• تهدیدهای سایبری
• مسائل حریم خصوصی داده
• آسیب‌های زیست‌محیطی
• خطرات وجودی (Existential risks)
• نقض مالکیت فکری (IP infringement)
• از دست رفتن مشاغل
• نبود مسئولیت‌پذیری (Lack of accountability)
• نبود قابل توضیح‌پذیری و شفافیت (Lack of explainability and transparency)
• اطلاعات نادرست و دستکاری (Misinformation and manipulation)
• جمع بندی

سوگیری (Bias)

انسان‌ها ذاتا سوگیری دارند و مدل‌های هوش مصنوعی می‌توانند این سوگیری‌ها را از داده‌ها یا فرایندهای یادگیری بیاموزند و بازتولید کنند. پیامد این سوگیری‌ها می‌تواند نابرابری در نتایج باشد برای نمونه سامانه‌های استخدام (Applicant Tracking System) ممکن است به‌طور نامنصفانه‌ای علیه یک جنسیت عمل کنند، ابزارهای تشخیص پزشکی ممکن است برای جمعیت‌هایی که در داده‌ها کمتر نمایندگی شده‌اند دقت پایین‌تری داشته باشند، یا ابزارهای پیش‌بینی جرم، جوامع حاشیه‌ای را نامتناسب هدف قرار دهند.

اقدامات پیشنهادی:

• تدوین استراتژی حکمرانی AI شامل چارچوب‌ها، سیاست‌ها و فرایندهای مسئولانه‌سازی.
• تضمین تنوع در داده‌های آموزشی (مثلاً نمونه‌برداری طبقه‌ای / stratified sampling) و در تیم توسعه‌دهنده.
• استفاده از معیارهای عدالت (fairness metrics) مانند demographic parity یا equalized odds و مانیتورینگ مداوم عملکرد در دنیای واقعی.
• قرار دادن بازبینی انسانی در حلقه تصمیم‌گیری (human-in-the-loop) و تشکیل کمیته‌های اخلاق AI.
• پیاده‌سازی فرآیندهای کاهش سوگیری در طول چرخه حیات مدل (انتخاب ساختار مناسب مدل، پیش‌پردازش داده‌ها، اصلاح وزن‌ها).
• بررسی ابزارهای متن‌باز برای کمک: مثالاً جعبه‌ابزار AI Fairness 360 از IBM.

تهدیدهای سایبری

بازیگران مخرب می‌توانند از AI برای طراحی حملات پیچیده استفاده کنند: جعل صدا، تولید هویت‌های جعلی، ایجاد ایمیل‌های فیشینگ بسیار متقاعدکننده و سایر تکنیک‌هایی که برای کلاهبرداری، سرقت هویت و نفوذ به داده‌ها به‌کار می‌روند.

علاوه بر این، با وجود رشد استفاده از نسل جدید AI، گزارش‌ها نشان می‌دهد تنها حدود ۲۴٪ از پروژه‌های نسل AI به‌درستی ایمن‌سازی شده‌اند؛ این ضعف امنیتی می‌تواند افشای داده‌ها و مدل‌ها را رقم بزند و هزینه‌های سنگینی به همراه داشته باشد (میانگین جهانی هزینه نقض داده‌ها در ۲۰۲۴ حدود ۴٫۸۸ میلیون دلار بوده است).

اقدامات پیشنهادی:

• تدوین استراتژی امنیت و ایمنی AI در سطح سازمان.
• انجام ارزیابی ریسک و مدلسازی تهدیدها برای شناسایی نقاط آسیب‌پذیر در زنجیره داده و مدل.
• پیاده‌سازی «امنیت از ابتدا» (secure-by-design): رمزنگاری داده‌ها، کنترل دسترسی سخت‌گیرانه، لاگینگ متمرکز.
• تست آسیب‌پذیری مدل‌ها با روش‌های حمله متخاصم (adversarial testing) و بهره‌گیری از red-team/blue-team برای شبیه‌سازی حملات.
• آموزش تیم‌ها در برخورد با حملات و آماده‌سازی پاسخ حادثه (incident response).
• بررسی مکانیسم‌هایی مانند differential privacy یا watermarking برای حفاظت از مدل‌ها و داده‌ها.

مسائل حریم خصوصی داده

مدل‌های زبانی بزرگ (Large Language Models — LLMs) و بسیاری از کاربردهای مولّد نیازمند حجم عظیمی از داده برای آموزش هستند. اغلب این داده‌ها از طریق کراول وب و بدون رضایت صریح کاربران گردآوری می‌شود و ممکن است شامل اطلاعات شناسایی‌پذیر (PII) باشد. همچنین سرویس‌هایی که تجربه‌های شخصی‌سازی‌شده ارائه می‌دهند ممکن است داده‌های شخصی کاربران را جمع‌آوری کنند.

اقدامات پیشنهادی:

• شفاف‌سازی برای کاربران درباره نحوه جمع‌آوری، نوع داده‌ها (آیا PII وجود دارد؟)، مدت نگهداری و نحوه استفاده.
• ارائه گزینه‌های خروج (opt-out) برای کسانی که نمی‌خواهند داده‌شان در آموزش مدل‌ها استفاده شود.
• در صورت امکان از داده‌های مصنوعی (synthetic data) یا داده‌های مشتق‌شده استفاده کنید تا وابستگی به داده‌های حساس کمتر شود.
• به‌کارگیری تکنیک‌هایی مانند pseudonymization، anonymization و differential privacy هنگام آموزش و انتشار مدل‌ها.
• محدودسازی دسترسی به داده‌های خام و پیاده‌سازی سیاست‌های نگهداری و حذف داده.

آسیب‌های زیست‌محیطی

محاسبات انرژی‌بر برای آموزش و اجرای مدل‌های بزرگ، اثر کربنی قابل‌توجهی دارد. آموزش مدل‌های بزرگ و اجرای محاسبات پیچیده نیازمند مصرف بالای برق و همچنین خنک‌سازی دیتاسنترها است که مصرف آب را نیز افزایش می‌دهد. برای مثال برخی مطالعات نشان می‌دهند که آموزش یک مدل بزرگ پردازش زبان طبیعی می‌تواند صدها هزار پوند انتشار کربن داشته باشد، و مصرف آب برای خنک‌سازی در دیتاسنترها نیز قابل‌توجه است.

اقدامات پیشنهادی:

• انتخاب ارائه‌دهندگان دیتاسنتر که از انرژی تجدیدپذیر استفاده می‌کنند.
• استفاده از مدل‌ها و چارچوب‌های کارآمد از نظر انرژی، یا مدل‌های کم‌حجم و بهینه‌شده.
• کاهش حجم داده‌های آموزشی و ساده‌سازی معماری مدل (pruning، quantization).
• استفاده از transfer learning و مدل‌های پیش‌آموزش‌دیده (pretrained) به‌جای آموزش از صفر.
• بهره‌گیری از سخت‌افزار بهینه برای بارهای کاری AI و معماری سرورلس (serverless) در جاهایی که منطقی است.

خطرات وجودی (Existential risks)

در مارس ۲۰۲۳، تنها چهار ماه پس از معرفی ChatGPT توسط OpenAI، نامه‌ای از رهبران فناوری منتشر شد که خواهان یک توقف شش‌ماهه در آموزش «سامانه‌های AI قوی‌تر از GPT-4» شد. دو ماه بعد، جفری هینتون (از پیشگامان حوزه) هشدار داد که تکامل سریع AI ممکن است به‌زودی از هوش انسانی پیشی بگیرد. گروهی از دانشمندان و متخصصان نیز نگرانی‌هایی درباره خطر‌های بالقوه‌ای که می‌تواند تا سطح تهدید موجودیت انسان برسد مطرح کرده‌اند. [3][4][5]

هرچند بحث درباره «هوش مصنوعی قوی» (strong AI / artificial general intelligence) یا «فراهوش مصنوعی» (superintelligence) بیشتر نظری است، آماده‌سازی برای پیامدهای بلندمدت و پژوهش‌های مربوطه اهمیت دارد.

اقدامات پیشنهادی:

• دنبال‌کردن پژوهش‌های روز در حوزه AI و شرکت در مباحث علمی و سیاست‌گذاری.
• ساختن زیرساخت‌های تکنیکی و تیمی که امکان آزمایش کنترل‌شده و امن فناوری‌های نو را بدهد.
• تقویت مهارت‌های تیم‌های AI و تشویق فرهنگ افزایش دانش امنیتی و اخلاقی در سازمان.

نقض مالکیت فکری (IP infringement)

AI مولّد می‌تواند آثار هنری، موسیقی یا نوشته‌هایی تولید کند که شباهت زیادی به آثار انسانی دارد. سوال کلیدی این است که مالکیت کپی‌رایت تولیداتِ کاملاً مولّد یا همراه با کمک AI به چه کسی تعلق دارد؟ مباحث حقوقی در این حوزه هنوز در حال شکل‌گیری است و ابهام درباره مالکیت می‌تواند برای کسب‌وکارها و خالقان مشکل‌ساز شود.

اقدامات پیشنهادی:

• بررسی مجوزها و مطمئن‌شدن از اینکه داده‌های آموزشی و منابع مورد استفاده دارای مجوز مناسب هستند.
• احتیاط در وارد کردن محتوای دارای مالکیت فکری شرکت یا مشتریان به مدل‌های عمومی.
• مانیتورینگ خروجی مدل‌ها برای شناسایی نتایجی که ممکن است تخطی از حقوق دیگران باشند.
• در قراردادها و سیاست‌های سازمانی، بندهای مربوط به مالکیت خروجی AI و مسئولیت‌ها را روشن کنید.

از دست رفتن مشاغل

AI می‌تواند بازار کار را دگرگون کند؛ برخی نقش‌ها حذف می‌شوند و نقش‌های جدیدی پدید می‌آید. گزارش‌هایی مانند گزارش فوروم جهانی اقتصاد نشان می‌دهد نیمی از سازمان‌های مورد بررسی انتظار ساخت مشاغل جدید دارند و بخشی نیز نگران از دست رفتن مشاغل‌اند.

اقدامات پیشنهادی:

• تمرکز بر ارتقای مهارت (reskilling / upskilling) تا کارکنان بتوانند با ابزارهای AI کار کنند.
• بازطراحی مدل‌های شغلی و فرایندها به‌سمت شراکت انسان–ماشین (human-machine partnership) به‌جای جایگزینی کامل.
• سرمایه‌گذاری در فناوری‌هایی که کارمندان را قادر می‌سازند روی وظایف ارزش‌آفرین‌تر تمرکز کنند.

نبود مسئولیت‌پذیری (Lack of accountability)

وقتی سامانه AI خطا می‌کند، سؤال اساسی این است: چه کسی مسئول است؟ چه کسی پاسخگوست؟ این مباحث در مواردی مثل تصادفات خودران یا بازداشت‌های اشتباه ناشی از تشخیص چهره به‌طور جدی مطرح شده‌اند. ساختارهای قانونی و سیاست‌گذاری در حال شکل‌گیری‌اند، اما سازمان‌ها می‌توانند از قبل مسئولیت‌پذیری را در طراحی و اجرای AI وارد کنند.

اقدامات پیشنهادی:

• حفظ ردپاها (audit trails) و لاگ‌های قابل دسترس برای بررسی رفتار مدل‌ها و تصمیمات.
• ثبت و مستندسازی تمام تصمیمات انسانی در فرایند طراحی، آموزش، تست و استقرار مدل.
• استفاده از چارچوب‌ها و راهنمایی‌های موجود برای مسئولیت‌پذیری AI، مثل: راهنمای اخلاقی کمیسیون اروپا برای AI قابل اعتماد، اصول OECD، چارچوب مدیریت ریسک AI از NIST، و چارچوب حسابرسی AI از GAO آمریکا.

نبود قابل توضیح‌پذیری و شفافیت (Lack of explainability and transparency)

الگوریتم‌ها و مدل‌های AI اغلب به‌عنوان «جعبه سیاه» شناخته می‌شوند؛ حتی گاهی برای پژوهشگران نزدیک به مدل هم مکانیزم دقیق تصمیم‌گیری مبهم است. این ابهام اعتماد را سلب می‌کند و شناسایی خطرات را دشوار می‌سازد.

«اگر نتوانیم به این مدل‌ها اعتماد کنیم، عملاً نمی‌توانیم از مزایای AI در سازمان‌ها استفاده کنیم.» کوش وارشناِی (Kush Varshney)، محقق ارشد IBM Research.

اقدامات پیشنهادی:

• به‌کارگیری تکنیک‌های قابل‌توضیح‌پذیری (explainable AI): ارزیابی مداوم مدل، استفاده از ابزارهایی مثل LIME برای توضیح پیش‌بینی‌ها، یا DeepLIFT برای ردیابی وابستگی‌های داخلی شبکه‌های عصبی.
• ایجاد استانداردهای توضیح‌پذیری و تیم‌های بازبینی برای ارزیابی قابل‌فهم‌بودن نتایج.
• استفاده از ابزارهای متن‌باز مانند AI Explainability 360 از IBM برای بررسی و مستندسازی قابلیت توضیح‌پذیری.

اطلاعات نادرست و دستکاری (Misinformation and manipulation)

بازیگران بدخواه می‌توانند از AI برای تولید و پخش اطلاعات نادرست استفاده کنند: تولید زنگ‌صداهای جعلی، ویدیوهای deepfake، یا متون ساختگی که تصمیم‌گیری عمومی را تحت‌تأثیر قرار می‌دهد. برای مثال، تماس‌های صوتی جعلی که صدای رئیس‌جمهور را تقلید کرده بودند، برای تحریک گروهی از رأی‌دهندگان استفاده شدند. [11] علاوه بر این، «هالوسینیشن» مدل‌ها (تولید پاسخ‌های ساختگی اما قابل‌باور) نیز منبع دیگری از اطلاعات نادرست است.

اقدامات پیشنهادی:

• آموزش کاربران و کارکنان برای شناسایی نشانه‌های اطلاعات نادرست و بررسی منابع.
• اعتبارسنجی و راستی‌آزمایی محتوا پیش از اتکا یا نشر آن.
• استفاده از داده‌های آموزشی باکیفیت، تست‌های دقیق و ارزیابی مداوم مدل برای کاهش احتمال تولید محتوای غلط.
• قرار دادن انسان در حلقه بازبینی خروجی‌های حساس و به‌کارگیری ابزارهای تشخیص deepfake و علائم مصنوعی بودن محتوا.

جمع‌بندی

هوش مصنوعی ظرفیت بسیار بالایی برای بهبود کارها دارد، ولی همراه آن خطراتی نیز وجود دارد. شناخت این خطرات و اجرای اقداماتی عملی برای کاهش آنها می‌تواند به سازمان‌ها مزیت رقابتی بدهد.

برای مدیریت متمرکز فعالیت‌های AI در یک پلتفرم یکپارچه، محصولاتی مانند IBM® watsonx.governance™ راهکارهایی ارائه می‌دهند که امکان هدایت، مدیریت و مانیتورینگ مدل‌های AI از تأمین‌کنندگان مختلف، ارزیابی دقت مدل و نظارت بر معیارهایی مانند عدالت و سوگیری را فراهم می‌کنند.