Австралийский омбудсмен Содружества Иэн Андерсон раскритиковал алгоритм, используемый федеральным правительством для оценки уровня ухода, положенного пожилым австралийцам, назвав его «необоснованным, несправедливым и лишённым человеческого контроля». Об этом сообщает портал Qazaqyia.kz со ссылкой на издание The Guardian.

Расследование также показало, что рекомендации королевской комиссии по делу robodebt о прозрачности были проигнорированы. В 104-страничном отчёте омбудсмена говорится о необходимости изменить законодательство, чтобы оценщики ухода за пожилыми могли самостоятельно изменять клинически неверные алгоритмические решения.

«По закону эти автоматизированные решения не могут быть отменены или изменены, даже если они клинически неприемлемы», — говорится в отчёте. «Нет общедоступной информации, которая бы содержательно объясняла, как алгоритм преобразует входные данные в результаты. Без этого IAT представляет собой технологический чёрный ящик».

Расследование омбудсмена последовало за публикациями Guardian Australia о том, что пожилые люди оставались в состоянии стресса и без надлежащего ухода после того, как их потребности в домашней поддержке оценивались «бесчеловечным» алгоритмом в рамках обязательного правительственного Интегрированного инструмента оценки (IAT).

Оценщикам ухода за пожилыми запрещено отменять рекомендацию IAT по финансированию, даже если решение неверно.

«Это означает, что IAT и его алгоритм «не просто имеют потенциал подорвать доверие общественности к отправлению справедливой и последовательной системы оценки», — говорится в отчёте. «Скорее, по нашему мнению, разумный человек не будет уверен в том, что система на самом деле справедлива и последовательна».

Guardian Australia сообщала, что те, кто участвовал в разработке IAT, не знали, что правительство добавит в него алгоритм к моменту внедрения изменений в ноябре. Документы, опубликованные в соответствии с законами о свободе информации, раскрывают панику в департаменте, серьёзный клинический стресс среди фронтовых оценщиков и секретные IT-обходные пути после того, как чиновники осознали за часы до внедрения алгоритма, что законодательство юридически запрещает вмешательство человека, и что это вызывает стресс в течение нескольких дней после внедрения.

«Очень тревожно, что департамент говорил людям, что эта система будет работать определённым образом, показывал им версии этой системы, чтобы потом изменить её», — сказал Андерсон Guardian Australia.

В отчёте установлено: «Информация, предоставленная департаментом общественности, предполагает, что ключевые испытания и консультации на протяжении нескольких лет напрямую поддерживали IAT и связанную с ним структуру принятия решений в её нынешнем виде, но это неверно». «Эти испытания и консультации относились к более ранним версиям IAT и более раннему законодательству. Содержательных консультаций не было».

С момента внедрения был выявлен недостаток надзора, установило расследование. Квалификация и навыки оценщиков имеют решающее значение для IAT, но омбудсмен обнаружил, что департамент не обеспечил соблюдение договорных мер контроля качества и не проверил наличие у оценщиков обязательной клинической квалификации.

Омбудсмен установил, что старшие сотрудники поднимали вопросы об отсутствии путей пересмотра ошибочных решений до внедрения алгоритма. В одном электронном письме говорилось: «Я обеспокоен тем, что наша текущая структура не удовлетворяет первому из этих требований (наличие чёткого пути для пострадавших для обращения за пересмотром), поскольку, по-видимому, пути пересмотра позволяют только подтвердить результаты алгоритма».

Андерсон сказал, что ряд опасений был высказан СМИ и общественностью по поводу работы IAT для пакетов поддержки на дому, что инициировало расследование в апреле, и, в частности, отмечалось отсутствие прозрачности в том, как алгоритм IAT принимает решения.

«Департамент не выполнил рекомендации… королевской комиссии по схеме robodebt относительно прозрачности автоматизированного принятия решений правительством», — говорится в отчёте.

В отчёте содержится призыв к всестороннему пересмотру законодательства, связанного с процессом оценки потребностей, и правил, лежащих в основе алгоритма.

«Королевская комиссия по robodebt заявила, что когда правительство использует автоматизированное принятие решений или искусственный интеллект, оно должно быть очень прозрачным, чтобы люди могли понимать, как принимаются решения, которые существенно на них влияют», — сказал он. «По нашему мнению, департаменту необходимо гораздо более эффективно осуществлять надзор за поставщиками оценки, потому что входные данные, предоставляемые поставщиками оценки алгоритму, действительно критически важны для определения того, что получается на выходе».