ولادیمیر پوتین، رئیس جمهور روسیه در سال 2017 اعلام کرد که "کشور روسیه به رهبر جهان در حوزه فناوری تبدیل خواهد شد". این دیدگاه در دولت های مختلف جهان متداول است. در حال حاضر، بیش از ده دولت، ابتکارات ملی خود در حوزه هوش مصنوعی را اعلام کرده اند. در سال 2017، چین از برنامه خود تا سال 2030 برای رهبری جهانی در حوزه هوش مصنوعی پرده برداری کرد و کاخ سفید نیز در اوایل سال جاری، طرح ابتکاری هوش مصنوعی آمریکا را راه اندازی کرد. وزارت دفاع ایالات متحده نیز از یک استراتژی هوش مصنوعی رونمایی کرد.
به گزارش سرویس آی تی و فناوری «انتخاب»، روایت در حال ظهور "مسابقه تسلیحاتی هوش مصنوعی" نشان دهنده یک دیدگاه اشتباه و بی اطلاعی از خطرات هوش مصنوعی است و در نتیجه پیامدهای خطرناک قابل توجهی را به وجود می آورد. برای هر کشوری، خطر واقعی این است که خود را پشت سر دیگر کشورها در حوزه هوش مصنوعی تصور کند، بنابراین ادراک حضور در مسابقه موجب می شود که هر کشور برای رسیدن به سیستم های ناامن هوش مصنوعی عجله کند. به عبارتی دقیق تر در میل شدید به پیروزی، کشورها به اندازه دشمنان و رقبا خود را به خطر می اندازند.
هوش مصنوعی وعده داده است که از مزایای فوق العاده در همه چیز از مراقبت های بهداشتی تا حمل و نقل،برخوردار است. اما این خدمات با خطراتی نیز همراه است. این روزها حضور روبات ها بین انسان ها صرفا به فیلم های علمی و تخیلی محدود نمی شود.
در حال حاضر، سیستم های هوش مصنوعی بسیار قدرتمند اما غیر قابل اعتماد هستند. بسیاری از آنها در برابر حملات پیچیده آسیب پذیرند و بدون آموزش کافی شکست می خورند. دولت ها می خواهند سیستم های خود را به درستی استفاده کنند، اما رقابت باعث کاهش استانداردها می شود. حتی اگر کشورهای دیگر در آستانه دستیابی به پیشرفت های عمده ای در زمینه فناوری اطلاعات قرار نگیرند، ادراک این که آنها در حال رشد هستند، می تواند دیگران را به عجله در حوزه فعالیت های هوش مصنوعی تحریک کند و اگر دولتی یک سیستم سلاح مبتنی بر هوش مصنوعی طراحی کند دیگر کشورها نیز برای رسیدن به نقطه امن تلاشی شتاب زده و گاه فاجعه باز خواهند داشت.
سیاستگذاران باید از تاریخ شبکه های کامپیوتری درس بگیرند و امنیت را مبنای هوش مصنوعی قرار دهند. شفاف ترین نوع سیستم هوش مصنوعی سیستمی است که تعدادی از وظایف را با پیروی از یک سری قوانین از پیش تعیین شده توسط انسان ها انجام می دهد. این نوع سیستم حدود یک دهه قدمت دارد و در حال گسترش است. اما در چند سال گذشته، پیشرفت در جمع آوری داده ها، قدرت پردازش کامپیوتری و طراحی الگوریتم به پژوهشگران اجازه داده نوع دیگری از سیستم یعنی سیستم های یادگیری ماشینی را توسعه دهند.
در یادگیری ماشینی، یک برنامه نویس قوانینی را می نویسد و سپس هوش مصنوعی هزاران بار داده ها را بر اساس الگوریتم ها بازسازی می کند.رونق فعلی هوش مصنوعی از سال 2012 آغاز شد، یعنی زمانی که محققان با استفاده از تکنیک یادگیری ماشینی به نام «یادگیری عمیق»، که بر شبکه های عصبی عمیق متکی بود، پیشرفت کردند.
این سیستم نوعی از شبکه عصبی مبتنی بر تکنیک های هوش مصنوعی است که به وضوح از نورون های بیولوژیک الهام گرفته و از سلول هایی استفاده می کند که با فرستادن و دریافت امواج الکتریکی با دیگر سلول ها ارتباط برقرار می کنند.
از نمونه های رایج این نوع سیستم می توان به توانایی تشخیص چهره ها، شناسایی اشیاء، تکرار گفتار و بازی های پیچیده اشاره کرد. افزون بر این ها محققان در حال حاضر از هوش مصنوعی برای حل مشکلات در جهان واقعی مثل درمان سرطان، بهبود رانندگی، مشاوره تحصیلی و ... استفاده می کنند. حتی دوره های برنامه نویسی رایگان به مردم یاد می دهند که چگونه سیستم های هوش مصنوعی خود را ایجاد می کنند و شبکه های عصبی آموزش دیده نیز برای دانلود رایگان هستند. اما این ابزار هوشمند به هر فردی که قصد آسیب رساندن به دیگران را دارد نیز کمک می کند.
هوش مصنوعی
این یک واقعیت است که آسیب از طریق هوش مصنوعی اتفاقی نیست. حتی استفاده از هوش مصنوعی برای سوء استفاده از اطلاعات کاربران در شبکه های اجتماعی می تواند خطرناک باشد. این روزها فیلم های جعلی متعددی با کمک هوش مصنوعی ساخته می شوند و حتی چهره افراد مشهور روی فیلم های مستهجن قرار داده می شود.
این مثالها ساده ترین نوع سوء استفاده محسوب می شود. درواقع کمپین های سیاسی با استفاده از تجزیه و تحلیل داده ها با کمک هوش مصنوعی به مقاصد خود دست پیدا می کنند. استفاده از هوش مصنوعی برای دستکاری داده ها از طریق حملات فیشینگ نیز بسیار رایج شده است.
قدرت هوش مصنوعی به عنوان یک ابزار سرکوب بیشتر ترسناک است. دولت های اقتدارگرا می توانند از عمیق ترین انواع هوش مصنوعی برای مبارزه با مخالفان حکومت استفاده کنند و با کمک تکنولوژی تشخیص چهره این افراد را ردیابی کنند. در حال حاضر چین یکی از کشورهایی است که از این روش استفاده می کند و شبکه های گسترده ای از دوربین های نظارتی را برای نظارت برمردم استفاده می کند.
چین فقط به فکر ساختن یک نظارت دولتی تکنولوژیک در خانه خود نیست؛ این کشور تکنولوژی خود را صادر کرده است. در سال 2018، زیمبابوه قراردادی را با شرکت چینی CloudWalk Technology امضا کرد تا یک پایگاه داده ملی از چهره ها و سیستم های نظارت بر تشخیص چهره در فرودگاه ها، ایستگاه های راه آهن و ایستگاه های اتوبوس نصب کند. افزون بر این، چین قصد دارد تکنولوژی نظارت را در مالزی، مغولستان و سنگاپور به فروش برساند.
با کمک هوش مصنوعی چه کارهایی انجام خواهد شد؟
هر کشوری که در زمینه هوش مصنوعی فعال است، می تواند نسبت به دیگر کشورها برخی از مزیت های اقتصادی و نظامی را به دست آورد. پیش بینی می شود تا سال 2030 هوش مصنوعی بین 13 تا 15 تریلیون دلار به اقتصاد جهانی بیفزاید. هوش مصنوعی تواند سرعت اکتشافات علمی را تسریع کند. در سال 2019 یک شبکه عصبی مصنوعی به طور قابل ملاحظه ای بهتر از گذشته عمل می کند و وظایفی کلیدی در تحقیقات بیولوژیکی دارد.
عجله واشنگتن برای توسعه هوش مصنوعی نیز به این خاطر است که نمی خواهد در ماراتن رقابتی از چین عقب بماند. در حال حاضر غول های فناوری چین مثل علی بابا دوشادوش گوگل و مایکروسافت در حال پیشروی هستند. بنابراین شاید تا ده سال پیش، هدف چین برای تبدیل شدن به رهبر جهانی در حوزه هوش مصنوعی تا سال 2030، به نظر گمراه کننده بود اما امروز، این احتمال واقعی است.
یک نگرانی دیگر برای دولت ایالات متحده استفاده چین از هوش مصنوعی برای مقاصد نظامی است. کارکنان در گوگل و مایکروسافت با قرارداد های شرکت هایشان با پنتاگون مخالفت کرده اند، که منجر به توقف کار گوگل در پروژه استفاده از هوش مصنوعی برای تجزیه و تحلیل فیلم های ویدئویی شد. اما رژیم اقتدارگرای چین این نوع مشکلات را ندارد و به راحتی هوش مصنوعی را در دستاوردهای نظامی استفاده می کند.
تنها حرکت کردن در حوزه هوش مصنوعی برنده بازی را تعیین نمی کند
فناوری های مبتنی بر هوش مصنوعی این روزها قدرتمند اما غیر قابل اعتمادند. سیستم های مبتنی بر قوانین می توانند با شرایطی که برنامه نویسان پیش بینی نکرده اند نیز مقابله کنند. سیستم های یادگیری ماشینی محدود به اطلاعاتی هستند که بر اساس آن آموزش دیده اند. شکست های هوش مصنوعی نیز می تواند به تراژدی هایی جدی تبدیل شود..
درواقع شکست هوش مصنوعی موضوعی دور از ذهن نیست. اما این شکست ها از دید بسیاری از محققان و سیاستمدران بسیار تلخ و ناخوشایند است، چرا که هر بار شکست یک سیستم مبتنی بر هوش مصنوعی می تواند مهاجمان را برای سوء استفاده از هوش مصنوعی حریص تر کند.
حتی اگر سازندگان یک سیستم یادگیری عمیق از منابع داده خود محافظت کنند، سیستم می تواند با استفاده از آنچه که به عنوان مثال "نمونه های متضاد" شناخته می شود، فریب داده شود.دولتها در حال آزمایش ابزارهای نظامی، سایبری و نظارتی زیادی هستند اما هنوز نمی تواند تضمین کنند که این روشها درست عمل می کنند یا هر مشکلی را حل خواهند کرد.
اول ایمنی بعد هوش مصنوعی
تهدیدات فوری دنیای هوش مصنوعی نیاز به پاسخهای فوری دارند. یکی از مهمترین راه هایی که سیاستگذاران می توانند با خطرات هوش مصنوعی خورد کنند، افزایش منابع مالی برای تحقیقات ایمنی هوش مصنوعی است. شرکت ها میلیاردها دلار برای پیدا کردن برنامه های کاربردی تجاری برای هوش مصنوعی صرف می کنند، اما دولت ایالات متحده می تواند در تامین مالی تحقیقاتی علمی هوش مصنوعی نقش مهمی ایفا کند.
هنگامی که در مورد استفاده از هوش مصنوعی برای تامین امنیت ملی صحبت به میان می آید، سازمان های دولتی مجبور به تجدید نظر در روش های سنتی خود برای آزمایش هستند. این آزمایش ها می تواند از خودروهای خودران تا روبات های پرستار گسترده باشد.در نهایت، ایالات متحده باید به دنبال راه هایی برای کار با کشورهای دیگر، حتی دشمنان خود ، برای اطمینان از ایمنی هوش مصنوعی باشد. همکاری بین المللی در زمینه فناوری های جدید دارای یک رکورد متفاوت است، اما کشورها گاهی اوقات موفق به همکاری با یکدیگر برای جلوگیری از آسیب متقابل می شوند. در طول جنگ سرد، ایالات متحده و اتحاد جماهیر شوروی برای محدود کردن انواع خاصی از سیستم های تحویل کلاهک های هسته ای که هر دو طرف در مورد آن به توافق رسیدند، به طور خاص بی ثبات بودند.
فراموش نکنیم که هر پیشرفتی با خطراتی همراه است. در قرن نوزدهم، صنعتی شدن جهان، رشد اقتصادی فوق العاده ای را به همراه آورد، اما تانک، تفنگ و گاز خردل را نیز به ارتش انتقال داد. هوش مصنوعی خود را با تغییرات مطابقت می دهد. اکثر اثرات آن نیز مثبت خواهد بود، رشد اقتصادی را تقویت خواهد کرد، به تشخیص و درمان بیماری ها کمک می کند، تصادفات اتومبیل را کاهش می دهد و زندگی روزمره مردم را در هزاران راه بزرگ و کوچک بهبود می بخشد. با این حال، مانند هر تکنولوژی جدید،هوش مصنوعی نیز یک طرف تیره دارد و تنها راه مبارزه با این وجه تیره، هشیاری دولت ها است.
*رویا پاک سرشت
ولادیمیر پوتین، رئیس جمهور روسیه در سال 2017 اعلام کرد که "کشور روسیه به رهبر جهان در حوزه فناوری تبدیل خواهد شد". این دیدگاه در دولت های مختلف جهان متداول است. در حال حاضر، بیش از ده دولت، ابتکارات ملی خود در حوزه هوش مصنوعی را اعلام کرده اند. در سال 2017، چین از برنامه خود تا سال 2030 برای رهبری جهانی در حوزه هوش مصنوعی پرده برداری کرد و کاخ سفید نیز در اوایل سال جاری، طرح ابتکاری هوش مصنوعی آمریکا را راه اندازی کرد. وزارت دفاع ایالات متحده نیز از یک استراتژی هوش مصنوعی رونمایی کرد.
به گزارش سرویس آی تی و فناوری «انتخاب»، روایت در حال ظهور "مسابقه تسلیحاتی هوش مصنوعی" نشان دهنده یک دیدگاه اشتباه و بی اطلاعی از خطرات هوش مصنوعی است و در نتیجه پیامدهای خطرناک قابل توجهی را به وجود می آورد. برای هر کشوری، خطر واقعی این است که خود را پشت سر دیگر کشورها در حوزه هوش مصنوعی تصور کند، بنابراین ادراک حضور در مسابقه موجب می شود که هر کشور برای رسیدن به سیستم های ناامن هوش مصنوعی عجله کند. به عبارتی دقیق تر در میل شدید به پیروزی، کشورها به اندازه دشمنان و رقبا خود را به خطر می اندازند.
هوش مصنوعی وعده داده است که از مزایای فوق العاده در همه چیز از مراقبت های بهداشتی تا حمل و نقل،برخوردار است. اما این خدمات با خطراتی نیز همراه است. این روزها حضور روبات ها بین انسان ها صرفا به فیلم های علمی و تخیلی محدود نمی شود.
در حال حاضر، سیستم های هوش مصنوعی بسیار قدرتمند اما غیر قابل اعتماد هستند. بسیاری از آنها در برابر حملات پیچیده آسیب پذیرند و بدون آموزش کافی شکست می خورند. دولت ها می خواهند سیستم های خود را به درستی استفاده کنند، اما رقابت باعث کاهش استانداردها می شود. حتی اگر کشورهای دیگر در آستانه دستیابی به پیشرفت های عمده ای در زمینه فناوری اطلاعات قرار نگیرند، ادراک این که آنها در حال رشد هستند، می تواند دیگران را به عجله در حوزه فعالیت های هوش مصنوعی تحریک کند و اگر دولتی یک سیستم سلاح مبتنی بر هوش مصنوعی طراحی کند دیگر کشورها نیز برای رسیدن به نقطه امن تلاشی شتاب زده و گاه فاجعه باز خواهند داشت.
سیاستگذاران باید از تاریخ شبکه های کامپیوتری درس بگیرند و امنیت را مبنای هوش مصنوعی قرار دهند. شفاف ترین نوع سیستم هوش مصنوعی سیستمی است که تعدادی از وظایف را با پیروی از یک سری قوانین از پیش تعیین شده توسط انسان ها انجام می دهد. این نوع سیستم حدود یک دهه قدمت دارد و در حال گسترش است. اما در چند سال گذشته، پیشرفت در جمع آوری داده ها، قدرت پردازش کامپیوتری و طراحی الگوریتم به پژوهشگران اجازه داده نوع دیگری از سیستم یعنی سیستم های یادگیری ماشینی را توسعه دهند.
در یادگیری ماشینی، یک برنامه نویس قوانینی را می نویسد و سپس هوش مصنوعی هزاران بار داده ها را بر اساس الگوریتم ها بازسازی می کند.رونق فعلی هوش مصنوعی از سال 2012 آغاز شد، یعنی زمانی که محققان با استفاده از تکنیک یادگیری ماشینی به نام «یادگیری عمیق»، که بر شبکه های عصبی عمیق متکی بود، پیشرفت کردند.
این سیستم نوعی از شبکه عصبی مبتنی بر تکنیک های هوش مصنوعی است که به وضوح از نورون های بیولوژیک الهام گرفته و از سلول هایی استفاده می کند که با فرستادن و دریافت امواج الکتریکی با دیگر سلول ها ارتباط برقرار می کنند.
از نمونه های رایج این نوع سیستم می توان به توانایی تشخیص چهره ها، شناسایی اشیاء، تکرار گفتار و بازی های پیچیده اشاره کرد. افزون بر این ها محققان در حال حاضر از هوش مصنوعی برای حل مشکلات در جهان واقعی مثل درمان سرطان، بهبود رانندگی، مشاوره تحصیلی و ... استفاده می کنند. حتی دوره های برنامه نویسی رایگان به مردم یاد می دهند که چگونه سیستم های هوش مصنوعی خود را ایجاد می کنند و شبکه های عصبی آموزش دیده نیز برای دانلود رایگان هستند. اما این ابزار هوشمند به هر فردی که قصد آسیب رساندن به دیگران را دارد نیز کمک می کند.
هوش مصنوعی
این یک واقعیت است که آسیب از طریق هوش مصنوعی اتفاقی نیست. حتی استفاده از هوش مصنوعی برای سوء استفاده از اطلاعات کاربران در شبکه های اجتماعی می تواند خطرناک باشد. این روزها فیلم های جعلی متعددی با کمک هوش مصنوعی ساخته می شوند و حتی چهره افراد مشهور روی فیلم های مستهجن قرار داده می شود.
این مثالها ساده ترین نوع سوء استفاده محسوب می شود. درواقع کمپین های سیاسی با استفاده از تجزیه و تحلیل داده ها با کمک هوش مصنوعی به مقاصد خود دست پیدا می کنند. استفاده از هوش مصنوعی برای دستکاری داده ها از طریق حملات فیشینگ نیز بسیار رایج شده است.
قدرت هوش مصنوعی به عنوان یک ابزار سرکوب بیشتر ترسناک است. دولت های اقتدارگرا می توانند از عمیق ترین انواع هوش مصنوعی برای مبارزه با مخالفان حکومت استفاده کنند و با کمک تکنولوژی تشخیص چهره این افراد را ردیابی کنند. در حال حاضر چین یکی از کشورهایی است که از این روش استفاده می کند و شبکه های گسترده ای از دوربین های نظارتی را برای نظارت برمردم استفاده می کند.
چین فقط به فکر ساختن یک نظارت دولتی تکنولوژیک در خانه خود نیست؛ این کشور تکنولوژی خود را صادر کرده است. در سال 2018، زیمبابوه قراردادی را با شرکت چینی CloudWalk Technology امضا کرد تا یک پایگاه داده ملی از چهره ها و سیستم های نظارت بر تشخیص چهره در فرودگاه ها، ایستگاه های راه آهن و ایستگاه های اتوبوس نصب کند. افزون بر این، چین قصد دارد تکنولوژی نظارت را در مالزی، مغولستان و سنگاپور به فروش برساند.
با کمک هوش مصنوعی چه کارهایی انجام خواهد شد؟
هر کشوری که در زمینه هوش مصنوعی فعال است، می تواند نسبت به دیگر کشورها برخی از مزیت های اقتصادی و نظامی را به دست آورد. پیش بینی می شود تا سال 2030 هوش مصنوعی بین 13 تا 15 تریلیون دلار به اقتصاد جهانی بیفزاید. هوش مصنوعی تواند سرعت اکتشافات علمی را تسریع کند. در سال 2019 یک شبکه عصبی مصنوعی به طور قابل ملاحظه ای بهتر از گذشته عمل می کند و وظایفی کلیدی در تحقیقات بیولوژیکی دارد.
عجله واشنگتن برای توسعه هوش مصنوعی نیز به این خاطر است که نمی خواهد در ماراتن رقابتی از چین عقب بماند. در حال حاضر غول های فناوری چین مثل علی بابا دوشادوش گوگل و مایکروسافت در حال پیشروی هستند. بنابراین شاید تا ده سال پیش، هدف چین برای تبدیل شدن به رهبر جهانی در حوزه هوش مصنوعی تا سال 2030، به نظر گمراه کننده بود اما امروز، این احتمال واقعی است.
یک نگرانی دیگر برای دولت ایالات متحده استفاده چین از هوش مصنوعی برای مقاصد نظامی است. کارکنان در گوگل و مایکروسافت با قرارداد های شرکت هایشان با پنتاگون مخالفت کرده اند، که منجر به توقف کار گوگل در پروژه استفاده از هوش مصنوعی برای تجزیه و تحلیل فیلم های ویدئویی شد. اما رژیم اقتدارگرای چین این نوع مشکلات را ندارد و به راحتی هوش مصنوعی را در دستاوردهای نظامی استفاده می کند.
تنها حرکت کردن در حوزه هوش مصنوعی برنده بازی را تعیین نمی کند
فناوری های مبتنی بر هوش مصنوعی این روزها قدرتمند اما غیر قابل اعتمادند. سیستم های مبتنی بر قوانین می توانند با شرایطی که برنامه نویسان پیش بینی نکرده اند نیز مقابله کنند. سیستم های یادگیری ماشینی محدود به اطلاعاتی هستند که بر اساس آن آموزش دیده اند. شکست های هوش مصنوعی نیز می تواند به تراژدی هایی جدی تبدیل شود..
درواقع شکست هوش مصنوعی موضوعی دور از ذهن نیست. اما این شکست ها از دید بسیاری از محققان و سیاستمدران بسیار تلخ و ناخوشایند است، چرا که هر بار شکست یک سیستم مبتنی بر هوش مصنوعی می تواند مهاجمان را برای سوء استفاده از هوش مصنوعی حریص تر کند.
حتی اگر سازندگان یک سیستم یادگیری عمیق از منابع داده خود محافظت کنند، سیستم می تواند با استفاده از آنچه که به عنوان مثال "نمونه های متضاد" شناخته می شود، فریب داده شود.دولتها در حال آزمایش ابزارهای نظامی، سایبری و نظارتی زیادی هستند اما هنوز نمی تواند تضمین کنند که این روشها درست عمل می کنند یا هر مشکلی را حل خواهند کرد.
اول ایمنی بعد هوش مصنوعی
تهدیدات فوری دنیای هوش مصنوعی نیاز به پاسخهای فوری دارند. یکی از مهمترین راه هایی که سیاستگذاران می توانند با خطرات هوش مصنوعی خورد کنند، افزایش منابع مالی برای تحقیقات ایمنی هوش مصنوعی است. شرکت ها میلیاردها دلار برای پیدا کردن برنامه های کاربردی تجاری برای هوش مصنوعی صرف می کنند، اما دولت ایالات متحده می تواند در تامین مالی تحقیقاتی علمی هوش مصنوعی نقش مهمی ایفا کند.
هنگامی که در مورد استفاده از هوش مصنوعی برای تامین امنیت ملی صحبت به میان می آید، سازمان های دولتی مجبور به تجدید نظر در روش های سنتی خود برای آزمایش هستند. این آزمایش ها می تواند از خودروهای خودران تا روبات های پرستار گسترده باشد.در نهایت، ایالات متحده باید به دنبال راه هایی برای کار با کشورهای دیگر، حتی دشمنان خود ، برای اطمینان از ایمنی هوش مصنوعی باشد. همکاری بین المللی در زمینه فناوری های جدید دارای یک رکورد متفاوت است، اما کشورها گاهی اوقات موفق به همکاری با یکدیگر برای جلوگیری از آسیب متقابل می شوند. در طول جنگ سرد، ایالات متحده و اتحاد جماهیر شوروی برای محدود کردن انواع خاصی از سیستم های تحویل کلاهک های هسته ای که هر دو طرف در مورد آن به توافق رسیدند، به طور خاص بی ثبات بودند.
فراموش نکنیم که هر پیشرفتی با خطراتی همراه است. در قرن نوزدهم، صنعتی شدن جهان، رشد اقتصادی فوق العاده ای را به همراه آورد، اما تانک، تفنگ و گاز خردل را نیز به ارتش انتقال داد. هوش مصنوعی خود را با تغییرات مطابقت می دهد. اکثر اثرات آن نیز مثبت خواهد بود، رشد اقتصادی را تقویت خواهد کرد، به تشخیص و درمان بیماری ها کمک می کند، تصادفات اتومبیل را کاهش می دهد و زندگی روزمره مردم را در هزاران راه بزرگ و کوچک بهبود می بخشد. با این حال، مانند هر تکنولوژی جدید،هوش مصنوعی نیز یک طرف تیره دارد و تنها راه مبارزه با این وجه تیره، هشیاری دولت ها است.
*رویا پاک سرشت
