Автор: Джонатан Хилман

Джонатан Хилман е старши сътрудник по икономика в Центъра за стратегически и международни изследвания и директор на програмата за повторно свързване на Азия. Той е автор на The Emperor’s New Road и The Digital Silk Road.

Арсеналът за лицево разпознаване на Hikvision предлага единна система за раздаване на наказания и награди. „Разпознайте хората от вашия черен списък и уведомете сигурността, за да предприеме действия за намаляване на рисковете“, се казва в брошура. „Разпознавайте клиентите в белия списък, за да могат да изпитат изключителна VIP услуга от момента, в който пристигнат.“ Гледайки отвъд расистките термини, чиито професионалисти в индустрията препоръчват да бъдат заменени, човек не се нуждае от много въображение, за да види потенциала за злоупотреба: с лицевото разпознаване собственик на клуб може да забележи ценни посетители и да ги обсипе с безплатни напитки, или деспот може да идентифицира, проследяване и заглушаване на противниците. И двата курса естествено бяха съсредоточени върху демонстрирането на това какво могат да направят продуктите, но понякога загатваха за ограничения. Функцията за преброяване на хората, обяснява Hikvision, е само 90 процента точна, когато трафикът е натоварен. Смекчавайки очакванията на клиентите, един слайд отбелязва, че „развлекателната телевизия е измислица. Това, което правят в CSI и NCIS и други програми, не е реалност. Системата за видеонаблюдение НЯМА да има неограничено увеличение с ясни изображения.
Тези предупреждения не се рекламират лесно на потенциални клиенти. Един дистрибутор на продукти на Hikvision твърди, че неговите камери за лицево разпознаване улавят изображения с точност над 99 процента и не се влияят от леки промени в осветлението, прическата или изражението на лицето.
И все пак продуктите за лицево разпознаване имат отклонения, които произтичат от данните, използвани за тяхното обучение. Алгоритмите на Hikvision са най-точни за хора от Източна Азия и най-малко точни за хора от Африка, според тестове на трети страни. С повече обучение и данни тези системи се подобряват, но не бих им се доверил да вземат важни решения. Едно нещо е системата да отчита погрешно броя на хората, които са прекарали известно време в отдела за продукти на магазин за хранителни стоки, и съвсем друго е тя да идентифицира погрешно дадено лице като заподозрян в престъпление. Това не са теоретични рискове, нито се ограничават до китайски доставчици: до края на 2020 г. се появиха три случая, при които американската полиция неправилно е арестувала американци поради фалшиви положителни резултати при разпознаване на лица. Всички бяха черни мъже.
Докато вторият курс продължи, той се задълбочи в възможностите за наблюдение, като същевременно пренебрегна всички ограничения. Целта на всеки сценарий на обучение беше да се разшири способността за наблюдение и откриване. Във всеки случай човекът зад камерата натрупва сила, докато, за добро или лошо, човекът на камерата се превръща в мишена. Авторитарният подход не поставя под въпрос този дисбаланс. Не прави никакви усилия да минимизира вредата. Използването на военен език, често срещан в индустрията за наблюдение, засилва усещането, че тези инструменти могат лесно да се превърнат в оръжия. Камерите могат да бъдат настроени на „патрулиране“, което означава, че могат да се движат и накланят на предварително зададени интервали, като сканират зони в цикъл. „Откриване на проникване“ звучи като метод за защита на банка или военна база – система, която хваща само лоши момчета. Камерите на Hikvision не проверяват самоличността. Те „улавят“ лица.
Когато завърших и двата курса, изпитах облекчение, че съм готов, но и неудовлетворен. След като преминах два изпита, се предполагаше, че бях квалифициран да продавам и инсталирам системи, които използват AI за идентифициране на лица и анализ на поведение. Но останах напълно неподготвен да се справя с опасенията за поверителността и правата на човека, които тези системи пораждат.
Това етично сляпо петно едва ли се ограничава до китайските компании за наблюдение или дори до индустрията за наблюдение като цяло. Oracle, базирана в Тексас технологична компания, пусна на пазара полицейски приложения на софтуера си в страни с лоши показатели за човешките права, включително Китай, Бразилия, Мексико, Пакистан, Турция и Обединените арабски емирства, както съобщи журналистката Мара Хвистендал. По-фундаментално масовото събиране на лични данни от частни компании – това, което професорът от Харвард Шошана Зубоф нарече „капитализъм за наблюдение“ – има широкообхватни последици не само за поверителността, но и за социалния контрол. Много технологични компании се стремят да се представят като магазини за високотехнологичен хардуер, просто продавайки инструменти на клиенти, които в крайна сметка са отговорни за това как се използват. На въпроса дали компанията за телекомуникационно оборудване Huawei може да бъде държана отговорна за използването на нейните продукти от китайското правителство в Синцзян, основателят и главен изпълнителен директор на компанията, Рен Джънфей, отговори: „Може ли един автомобилен производител да определи на кого ще продаде колите? Това, което производителят на автомобили продава, е само самата кола. Какво ще се постави в колата, определя водачът.“
Но Huawei, Hikvision и други продават възможности, както и методи. Ако заемем метафората на Рен, те осигуряват обучение на водачи, а понякога и шофьори. Те не проверяват дали имате лошо шофьорско досие или книжка за шофиране. Те са били готови да продадат всеки продукт, който имат, на всеки, който желае да купи, с много малки изключения.
Този подход на laissez faire изглежда неустойчив. Тъй като все повече общности обсъждат предимствата на задвижваното от AI наблюдение, компаниите ще бъдат принудени да играят по-активна роля в предотвратяването на вредите. Тези, които участват конструктивно в този разговор, могат да спечелят доверие и да спечелят от справяне със социални проблеми. Тъй като движението за опазване на околната среда вдъхнови екологично ориентирани стандарти и зелени продукти, стремежът към социално отговорен ИИ може да повлияе на пазара за оборудване за наблюдение. САЩ биха могли да работят със своите партньори и съюзници, за да ръководят тази атака. Подобно усилие би предизвикало настоящите дейности на Китай, като направи рязък контраст, предостави превъзходна алтернатива и предложи стимули за осиновяване.
За компания, чието мото е „Вижте далеч, отидете по-далеч“, Hikvision изглежда късоглед, ако не и умишлено невеж, с оглед на нарастващата обратна реакция. Доказателства за ролята на компанията в лагерите на Синцзян се появиха още през 2018 г. Но едва през 2019 г., след като западните инвеститори започнаха да се оттеглят, Hikvision издаде първия си екологичен, социален и управленски доклад. „Има множество доклади за начините, по които продуктите за видеонаблюдение са участвали в нарушения на правата на човека“, се отбелязва в него. Документът беше тежък на пасивен залог и лек на конкретика.
Загрижеността на Hikvision за човешките права изглежда повърхностна. Той обеща да включи Всеобщата декларация за правата на човека на ООН, наред с други разпоредби, в своите практики и нае американска адвокатска кантора, Arent Fox, за извършване на вътрешен преглед, който не е публикуван. След като изчака копие от прегледа, датски пенсионен фонд най-накрая се освободи от Hikvision през ноември 2020 г., отбелязвайки, че е „загубил търпение с компанията“. Hikvision също така назначи главен отговорник по съответствието, който е смътно отговорен за „покриване на области на защита на правата на човека, сигурност на данните и защита на поверителността, както и социална отговорност и т.н.“ Очевидно компанията не се притеснява да завърши изречението и да формулира напълно позицията.
Социалните рискове са още по-голямо безпокойство за клиентите на Hikvision, включително китайското правителство. Страхът от социални вълнения е това, което мотивира изграждането на държава за наблюдение, която се опитва да достигне по-дълбоко в живота на гражданите. Чрез неумело налагане на по-инвазивни мерки обаче държавата може да засили самите сили на негодувание, от които най-много се страхува. Когато системите не предоставят прецизността, която обещават, защитниците на поверителността и дисидентските групи не са единствените, които са разочаровани. След достатъчно грешки дори привържениците на мерките за наблюдение започват да задават въпроси.