علم روز

یادگیری ماشینی می تواند چیزهای زیادی درباره شما - از جمله برخی از حساس ترین اطلاعات شما - را تشخیص دهد. به عنوان مثال ، این می تواند جهت گیری جنسی شما را پیش بینی کند ، چه باردار باشید ، آیا کار خود را ترک می کنید و چه اینکه احتمال دارد به زودی بمیرید. محققان می توانند نژاد را براساس لایک های فیس بوک پیش بینی کنند و مقامات در چین با استفاده از تشخیص چهره ، اویغورها ، یک گروه قومی اقلیت را شناسایی و ردیابی می کنند.

حال ، آیا ماشین ها واقعاً این موارد را درباره شما "می دانند" ، یا آنها فقط آگاهانه حدس می زنند؟ و ، اگر آنها در مورد شما نتیجه گیری کنند ، دقیقاً مانند هر انسانی که می دانید ممکن است انجام دهد ، آیا واقعاً هیچ مشکلی وجود ندارد که اینقدر زیرک باشند؟

بیایید به چند مورد نگاه کنیم:

در ایالات متحده ، داستان پیش بینی پیش بینی بارداری چه کسی احتمالاً مشهورترین نمونه الگوریتمی است که استنباط حساس درباره مردم را انجام می دهد. در سال 2012 ، یک داستان نیویورک تایمز در مورد اینکه شرکت ها چگونه می توانند از داده های خود استفاده کنند حاوی حکایتی در مورد پدری بود که یاد گرفت دختر نوجوانش باردار است به دلیل این که تارگت کوپن های خود را برای وسایل کودک در یک اقدام آشکار پیش بینی می کند. اگرچه داستان در مورد این نوجوان ممکن است آخرالزمانی باشد - حتی اگر این اتفاق بیفتد ، اما به احتمال زیاد اتفاقی بوده است ، نه تجزیه و تحلیل پیش بینی شده که مسئول کوپن ها بوده است ، طبق روند Target که توسط داستان نیویورک تایمز شرح داده شده است - یک واقعیت واقعی وجود دارد با توجه به این پروژه پیش بینی کننده خطر حفظ حریم خصوصی را در پی خواهد داشت. به هر حال ، اگر بخش بازاریابی شرکتی پیش بینی کند که چه کسی باردار است ، آنها اطلاعات حساس و پزشکی غیر داوطلبانه ای را دریافته اند که فقط کارکنان مراقبت های بهداشتی به طور معمول آموزش دیده اند تا از آنها به طور مناسب مراقبت و محافظت کند.

مرکز بینش
هوش مصنوعی و برابری
طراحی سیستم هایی که برای همه منصفانه باشد.
دسترسی سو Mis مدیریت به این نوع اطلاعات می تواند تأثیرات زیادی بر زندگی کسی بگذارد. همانطور که یکی از شهروندان نگران کننده در اینترنت پست می کند ، تصور کنید که "کار یک زن باردار متزلزل است ، و معلولیت دولتی [او] هنوز درست تنظیم نشده است ... برای افشای این امر می تواند هزینه خرده فروشی یک تولد (تقریباً 20،000 دلار) ، پرداخت ناتوانی در حین مرخصی (تقریباً 10 هزار تا 50 هزار دلار) و حتی شغل او. "

این مورد بدرفتاری ، نشت یا سرقت اطلاعات نیست. بلکه نسل داده های جدید است - کشف غیر مستقیم واقعیت های غیر داوطلبانه در مورد افراد. سازمان ها می توانند این بینش های قدرتمند را از داده های بی ضرر موجود پیش بینی کنند ، گویی که آنها را از هوای کم ایجاد می کنند.

بنابراین وقتی مدل های پیش بینی عملکرد خیلی خوبی دارند ، از قضا با یک نقطه ضعف روبرو هستیم ؟ ما می دانیم که وقتی مدل ها نادرست پیش بینی می کنند هزینه ای وجود دارد ، اما آیا اگر آنها به درستی پیش بینی کنند هزینه ای هم دارد ؟

حتی اگر این مدل به خودی خود بسیار دقیق نباشد ، باز هم ممکن است در پیش بینی های خود برای گروه خاصی از افراد باردار اطمینان داشته باشد. بگذارید بگوییم که 2٪ از مشتریان زن بین 18 تا 40 سال باردار هستند. اگر این مدل مشتریانی را شناسایی کند که مثلاً سه برابر بیشتر از حد متوسط باردار هستند ، فقط 6٪ از افرادی که شناسایی شده اند واقعاً باردار خواهند بود. این بالابر سه است. اما اگر به یک گروه بسیار متمرکز و متمرکز نگاه کنید ، بگویید بالاترین ۰.۱٪ احتمال بارداری وجود دارد ، ممکن است یک افزایش بسیار بالاتر ، مثلاً ۴۶ ، داشته باشید که باعث می شود زنان در آن گروه ۹۲٪ باردار باشند. در این صورت ، این سیستم قادر خواهد بود آن زنانی را که احتمال بارداری دارند نشان دهد.

همین مفهوم در پیش بینی گرایش جنسی ، نژاد ، وضعیت سلامتی ، موقعیت مکانی و اهداف شما برای ترک شغل شما اعمال می شود. حتی اگر یک مدل به طور کلی بسیار دقیق نباشد ، باز هم می تواند با اطمینان بالا - برای گروه محدود - مواردی مانند گرایش جنسی ، نژاد یا قومیت را نشان دهد. این به این دلیل است که به طور معمول ، بخش کوچکی از جمعیت وجود دارد که پیش بینی آنها برای آنها آسان تر است. اکنون ، فقط ممکن است بتواند با اطمینان برای یک گروه نسبتاً کوچک پیش بینی کند ، اما حتی فقط 0.1٪ از جمعیت یک میلیون نفر ، به معنی شناسایی 1000 نفر با اطمینان است.

آسان است که به دلایلی فکر کنید که چرا مردم نمی خواهند کسی این موارد را بداند. از سال 2013 ، هیولت پاکارد پیش بینی می کرد بیش از 300000 کارگر خود را با این احتمال که آیا کار خود را ترک می کنند ، نمره می دهد - HP این را نمره خطر پرواز نامید و به مدیران تحویل داده شد. اگر قصد ترک آن را دارید ، رئیس شما احتمالاً آخرین شخصی است که می خواهید قبل از رسمی شدن از آن مطلع شوید.

به عنوان مثال دیگر ، فن آوری های تشخیص چهره می توانند به عنوان راهی برای ردیابی موقعیت ، از آزادی اساسی در رفت و آمد بدون فاش شدن استفاده کنند ، زیرا به عنوان مثال ، دوربین های امنیتی با موقعیت عمومی می توانند افراد را در زمان ها و مکان های خاص شناسایی کنند. من قطعاً تشخیص چهره را محکوم نمی کنم ، اما بدانید که مدیرعامل هم در مایکروسافت و هم در گوگل به همین دلیل روی آن نازل شده اند.

در یک مثال دیگر ، یک شرکت مشاوره در حال مدل سازی از دست دادن کارمندان برای یک بخش منابع انسانی بود ، و متوجه شد که آنها در واقع می توانند مرگ کارمندان را مدل کنند ، زیرا این یکی از روش های از دست دادن یک کارمند است. افراد HR با پاسخ دادن ، "به ما نشان ندهید!" آنها نمی خواستند مسئولیت این را داشته باشند که بدانند کدام یک از کارکنان در معرض خطر مرگ زودهنگام هستند.

تحقیقات نشان داده است که مدل های پیش بینی کننده می توانند ویژگی های شخصی دیگر - مانند نژاد و قومیت - را نیز براساس مثلاً پسندیدن های فیس بوک تشخیص دهند. در اینجا نگرانی روشهایی است که ممکن است بازاریابان از این نوع پیش بینی ها استفاده کنند. همانطور که استاد دولت و فن آوری هاروارد ، لاتانیا سوئینی اظهار داشت ، "در پایان روز ، تبلیغات آنلاین در مورد تبعیض است. شما نمی خواهید مادرانی که تازه متولد شده اند برای چوب ماهیگیری تبلیغ کنند و همچنین ماهیگیران برای پوشک تبلیغاتی دریافت نکنند. سوال این است که چه زمانی این تبعیض از هدف قرار دادن مشتری تا تأثیر منفی روی کل گروهی از مردم عبور می کند؟ " در واقع ، یک مطالعه توسط سوینی نشان داد که جستجوی Google برای نامهای "سیاه صدا" 25٪ بیشتر نشان می دهد تبلیغی نشان می دهد که این شخص سابقه دستگیری دارد ، حتی اگر تبلیغ کننده کسی با آن نام را در پایگاه داده سوابق دستگیری خود نداشته باشد.

کلار گاروی ، همکار ارشد مرکز حفظ حریم خصوصی و فناوری در قانون جورج تاون می گوید: "اگر شما یک فناوری بسازید که بتواند افراد را براساس یک قوم طبقه بندی کند ، کسی برای سرکوب آن قومیت از آن استفاده می کند ."

که ما را به چین می رساند ، جایی که دولت تشخیص چهره را برای شناسایی و ردیابی اعضای اویغورها ، یک گروه قومی اعمال می کندتحت فشار دولت است. این اولین مورد شناخته شده ای است که دولت با استفاده از یادگیری ماشینی برای مشخصات خود از نژاد استفاده می کند. این پرچم گذاری افراد توسط گروه قومی به طور خاص طراحی شده است تا به عنوان عاملی در تصمیم گیری های تبعیض آمیز مورد استفاده قرار گیرد - یعنی تصمیماتی که حداقل تا حدی براساس یک طبقه محافظت شده باشد. در این صورت ، اعضای این گروه پس از شناسایی ، با توجه به قومیت خود با آنها متفاوت رفتار می شود یا در نظر گرفته می شود. ارزش یک شرکت نوپای چینی بیش از 1 میلیارد دلار اعلام کرد که نرم افزار آن می تواند "گروه های حساس مردم" را تشخیص دهد. در وب سایت آن آمده است: "اگر در اصل یک اویغور در یک محله زندگی می کند و در عرض 20 روز شش اویغور ظاهر می شوند ، بلافاصله هشدارها را به نیروی انتظامی ارسال می کند."

اجرای رفتار افتراقی گروه اخلاقی مبتنی بر فناوری پیش بینی ، خطرات را به سطح کاملاً جدیدی منتقل می کند. جاناتان فرانکل ، محقق یادگیری عمیق در MIT ، هشدار می دهد که این پتانسیل فراتر از چین است . "من فکر نمی کنم که برخورد با این مسئله به عنوان یک تهدید وجودی برای دموکراسی بیش از حد زیاد باشد. هنگامی که کشوری الگویی را در این حالت استبدادی سنگین اتخاذ می کند ، از داده ها برای اجرای اندیشه و قوانین بسیار عمیق تر استفاده می کند ... تا این حد ، این یک بحران اضطراری است که ما به آرامی در حال خواب رفتن هستیم. "

ترسیم خطی که اهداف پیش بینی شده با یادگیری ماشینی غیراخلاقی است ، یک چالش واقعی است ، چه رسد به اینکه در صورت وجود ، باید در برابر آنها قانونگذاری شود. حداقل ، هوشیار بودن برای زمانی که یادگیری ماشین برای تقویت یک عمل غیراخلاقی پیشین و همچنین برای تولید داده هایی است که باید با احتیاط انجام شود ، مهم است.

یادگیری ماشینی می تواند چیزهای زیادی درباره شما - از جمله برخی از حساس ترین اطلاعات شما - را تشخیص دهد. به عنوان مثال ، این می تواند جهت گیری جنسی شما را پیش بینی کند ، چه باردار باشید ، آیا کار خود را ترک می کنید و چه اینکه احتمال دارد به زودی بمیرید. محققان می توانند نژاد را براساس لایک های فیس بوک پیش بینی کنند و مقامات در چین با استفاده از تشخیص چهره ، اویغورها ، یک گروه قومی اقلیت را شناسایی و ردیابی می کنند.

حال ، آیا ماشین ها واقعاً این موارد را درباره شما "می دانند" ، یا آنها فقط آگاهانه حدس می زنند؟ و ، اگر آنها در مورد شما نتیجه گیری کنند ، دقیقاً مانند هر انسانی که می دانید ممکن است انجام دهد ، آیا واقعاً هیچ مشکلی وجود ندارد که اینقدر زیرک باشند؟

بیایید به چند مورد نگاه کنیم:

در ایالات متحده ، داستان پیش بینی پیش بینی بارداری چه کسی احتمالاً مشهورترین نمونه الگوریتمی است که استنباط حساس درباره مردم را انجام می دهد. در سال 2012 ، یک داستان نیویورک تایمز در مورد اینکه شرکت ها چگونه می توانند از داده های خود استفاده کنند حاوی حکایتی در مورد پدری بود که یاد گرفت دختر نوجوانش باردار است به دلیل این که تارگت کوپن های خود را برای وسایل کودک در یک اقدام آشکار پیش بینی می کند. اگرچه داستان در مورد این نوجوان ممکن است آخرالزمانی باشد - حتی اگر این اتفاق بیفتد ، اما به احتمال زیاد اتفاقی بوده است ، نه تجزیه و تحلیل پیش بینی شده که مسئول کوپن ها بوده است ، طبق روند Target که توسط داستان نیویورک تایمز شرح داده شده است - یک واقعیت واقعی وجود دارد با توجه به این پروژه پیش بینی کننده خطر حفظ حریم خصوصی را در پی خواهد داشت. به هر حال ، اگر بخش بازاریابی شرکتی پیش بینی کند که چه کسی باردار است ، آنها اطلاعات حساس و پزشکی غیر داوطلبانه ای را دریافته اند که فقط کارکنان مراقبت های بهداشتی به طور معمول آموزش دیده اند تا از آنها به طور مناسب مراقبت و محافظت کند.

مرکز بینش
هوش مصنوعی و برابری
طراحی سیستم هایی که برای همه منصفانه باشد.
دسترسی سو Mis مدیریت به این نوع اطلاعات می تواند تأثیرات زیادی بر زندگی کسی بگذارد. همانطور که یکی از شهروندان نگران کننده در اینترنت پست می کند ، تصور کنید که "کار یک زن باردار متزلزل است ، و معلولیت دولتی [او] هنوز درست تنظیم نشده است ... برای افشای این امر می تواند هزینه خرده فروشی یک تولد (تقریباً 20،000 دلار) ، پرداخت ناتوانی در حین مرخصی (تقریباً 10 هزار تا 50 هزار دلار) و حتی شغل او. "

این مورد بدرفتاری ، نشت یا سرقت اطلاعات نیست. بلکه نسل داده های جدید است - کشف غیر مستقیم واقعیت های غیر داوطلبانه در مورد افراد. سازمان ها می توانند این بینش های قدرتمند را از داده های بی ضرر موجود پیش بینی کنند ، گویی که آنها را از هوای کم ایجاد می کنند.

بنابراین وقتی مدل های پیش بینی عملکرد خیلی خوبی دارند ، از قضا با یک نقطه ضعف روبرو هستیم ؟ ما می دانیم که وقتی مدل ها نادرست پیش بینی می کنند هزینه ای وجود دارد ، اما آیا اگر آنها به درستی پیش بینی کنند هزینه ای هم دارد ؟

حتی اگر این مدل به خودی خود بسیار دقیق نباشد ، باز هم ممکن است در پیش بینی های خود برای گروه خاصی از افراد باردار اطمینان داشته باشد. بگذارید بگوییم که 2٪ از مشتریان زن بین 18 تا 40 سال باردار هستند. اگر این مدل مشتریانی را شناسایی کند که مثلاً سه برابر بیشتر از حد متوسط باردار هستند ، فقط 6٪ از افرادی که شناسایی شده اند واقعاً باردار خواهند بود. این بالابر سه است. اما اگر به یک گروه بسیار متمرکز و متمرکز نگاه کنید ، بگویید بالاترین ۰.۱٪ احتمال بارداری وجود دارد ، ممکن است یک افزایش بسیار بالاتر ، مثلاً ۴۶ ، داشته باشید که باعث می شود زنان در آن گروه ۹۲٪ باردار باشند. در این صورت ، این سیستم قادر خواهد بود آن زنانی را که احتمال بارداری دارند نشان دهد.

همین مفهوم در پیش بینی گرایش جنسی ، نژاد ، وضعیت سلامتی ، موقعیت مکانی و اهداف شما برای ترک شغل شما اعمال می شود. حتی اگر یک مدل به طور کلی بسیار دقیق نباشد ، باز هم می تواند با اطمینان بالا - برای گروه محدود - مواردی مانند گرایش جنسی ، نژاد یا قومیت را نشان دهد. این به این دلیل است که به طور معمول ، بخش کوچکی از جمعیت وجود دارد که پیش بینی آنها برای آنها آسان تر است. اکنون ، فقط ممکن است بتواند با اطمینان برای یک گروه نسبتاً کوچک پیش بینی کند ، اما حتی فقط 0.1٪ از جمعیت یک میلیون نفر ، به معنی شناسایی 1000 نفر با اطمینان است.

آسان است که به دلایلی فکر کنید که چرا مردم نمی خواهند کسی این موارد را بداند. از سال 2013 ، هیولت پاکارد پیش بینی می کرد بیش از 300000 کارگر خود را با این احتمال که آیا کار خود را ترک می کنند ، نمره می دهد - HP این را نمره خطر پرواز نامید و به مدیران تحویل داده شد. اگر قصد ترک آن را دارید ، رئیس شما احتمالاً آخرین شخصی است که می خواهید قبل از رسمی شدن از آن مطلع شوید.

به عنوان مثال دیگر ، فن آوری های تشخیص چهره می توانند به عنوان راهی برای ردیابی موقعیت ، از آزادی اساسی در رفت و آمد بدون فاش شدن استفاده کنند ، زیرا به عنوان مثال ، دوربین های امنیتی با موقعیت عمومی می توانند افراد را در زمان ها و مکان های خاص شناسایی کنند. من قطعاً تشخیص چهره را محکوم نمی کنم ، اما بدانید که مدیرعامل هم در مایکروسافت و هم در گوگل به همین دلیل روی آن نازل شده اند.

در یک مثال دیگر ، یک شرکت مشاوره در حال مدل سازی از دست دادن کارمندان برای یک بخش منابع انسانی بود ، و متوجه شد که آنها در واقع می توانند مرگ کارمندان را مدل کنند ، زیرا این یکی از روش های از دست دادن یک کارمند است. افراد HR با پاسخ دادن ، "به ما نشان ندهید!" آنها نمی خواستند مسئولیت این را داشته باشند که بدانند کدام یک از کارکنان در معرض خطر مرگ زودهنگام هستند.

تحقیقات نشان داده است که مدل های پیش بینی کننده می توانند ویژگی های شخصی دیگر - مانند نژاد و قومیت - را نیز براساس مثلاً پسندیدن های فیس بوک تشخیص دهند. در اینجا نگرانی روشهایی است که ممکن است بازاریابان از این نوع پیش بینی ها استفاده کنند. همانطور که استاد دولت و فن آوری هاروارد ، لاتانیا سوئینی اظهار داشت ، "در پایان روز ، تبلیغات آنلاین در مورد تبعیض است. شما نمی خواهید مادرانی که تازه متولد شده اند برای چوب ماهیگیری تبلیغ کنند و همچنین ماهیگیران برای پوشک تبلیغاتی دریافت نکنند. سوال این است که چه زمانی این تبعیض از هدف قرار دادن مشتری تا تأثیر منفی روی کل گروهی از مردم عبور می کند؟ " در واقع ، یک مطالعه توسط سوینی نشان داد که جستجوی Google برای نامهای "سیاه صدا" 25٪ بیشتر نشان می دهد تبلیغی نشان می دهد که این شخص سابقه دستگیری دارد ، حتی اگر تبلیغ کننده کسی با آن نام را در پایگاه داده سوابق دستگیری خود نداشته باشد.

کلار گاروی ، همکار ارشد مرکز حفظ حریم خصوصی و فناوری در قانون جورج تاون می گوید: "اگر شما یک فناوری بسازید که بتواند افراد را براساس یک قوم طبقه بندی کند ، کسی برای سرکوب آن قومیت از آن استفاده می کند ."

که ما را به چین می رساند ، جایی که دولت تشخیص چهره را برای شناسایی و ردیابی اعضای اویغورها ، یک گروه قومی اعمال می کندتحت فشار دولت است. این اولین مورد شناخته شده ای است که دولت با استفاده از یادگیری ماشینی برای مشخصات خود از نژاد استفاده می کند. این پرچم گذاری افراد توسط گروه قومی به طور خاص طراحی شده است تا به عنوان عاملی در تصمیم گیری های تبعیض آمیز مورد استفاده قرار گیرد - یعنی تصمیماتی که حداقل تا حدی براساس یک طبقه محافظت شده باشد. در این صورت ، اعضای این گروه پس از شناسایی ، با توجه به قومیت خود با آنها متفاوت رفتار می شود یا در نظر گرفته می شود. ارزش یک شرکت نوپای چینی بیش از 1 میلیارد دلار اعلام کرد که نرم افزار آن می تواند "گروه های حساس مردم" را تشخیص دهد. در وب سایت آن آمده است: "اگر در اصل یک اویغور در یک محله زندگی می کند و در عرض 20 روز شش اویغور ظاهر می شوند ، بلافاصله هشدارها را به نیروی انتظامی ارسال می کند."

اجرای رفتار افتراقی گروه اخلاقی مبتنی بر فناوری پیش بینی ، خطرات را به سطح کاملاً جدیدی منتقل می کند. جاناتان فرانکل ، محقق یادگیری عمیق در MIT ، هشدار می دهد که این پتانسیل فراتر از چین است . "من فکر نمی کنم که برخورد با این مسئله به عنوان یک تهدید وجودی برای دموکراسی بیش از حد زیاد باشد. هنگامی که کشوری الگویی را در این حالت استبدادی سنگین اتخاذ می کند ، از داده ها برای اجرای اندیشه و قوانین بسیار عمیق تر استفاده می کند ... تا این حد ، این یک بحران اضطراری است که ما به آرامی در حال خواب رفتن هستیم. "

ترسیم خطی که اهداف پیش بینی شده با یادگیری ماشینی غیراخلاقی است ، یک چالش واقعی است ، چه رسد به اینکه در صورت وجود ، باید در برابر آنها قانونگذاری شود. حداقل ، هوشیار بودن برای زمانی که یادگیری ماشین برای تقویت یک عمل غیراخلاقی پیشین و همچنین برای تولید داده هایی است که باید با احتیاط انجام شود ، مهم است.