Офис по искусственному интеллекту, цифровой экономике и приложениям для удаленной работы правительства Объединенных Арабских Эмиратов объявил о победе модели Google Gemini в индексе "AIفي الميدان". Это первая в мире оценка, направленная на измерение соответствия моделей искусственного интеллекта эмиратской культуре, а также их знания местных диалектов, обычаев и национальных ценностей. Индекс основан на оценке больших языковых моделей через вызов, сфокусированный на элементах культурного интеллекта ОАЭ. Модель "Gemini" победила после серии тестов, включавших более 400 вопросов и 5200 ответов от 11 крупных языковых моделей искусственного интеллекта. Специализированный эмиратский комитет, включающий экспертов из заинтересованных сторон, провел оценку результатов, чтобы определить наиболее подготовленные к эмиратской культуре модели. В пятерку лучших языковых моделей после "Gemini", которые показали выдающуюся производительность, вошли "ChatGPT – OpenAI GPT-4o", "ChatGPT – OpenAI O1", "Cohere" и "Groq". Омар Султан Аль Олма, министр по искусственному интеллекту, цифровой экономике и приложениям для удаленной работы, подтвердил, что правительство ОАЭ придает большое значение укреплению национальной идентичности как основы и опоры общества. Он подчеркнул важность укрепления эмиратской национальной идентичности в современных технологиях на фоне быстрой цифровой трансформации, чтобы обеспечить согласованность развития с исконными ценностями государства и подготовить технологические системы и искусственный интеллект к компонентам национальной идентичности для сохранения наследия для будущих поколений. Он отметил, что индекс сосредоточен на принятии концепции национальной идентичности в технологиях, которая представляет корни человека и зеркало его истории, хранящее ценности общества. Это отражает стремление ОАЭ повысить осведомленность о национальной идентичности и ее важности для эмиратского человека, защиты его культуры и построения будущего, в котором технологический прогресс сопровождается осознанностью, обеспечивающей его устойчивость и отражающей дух страны в обществе ОАЭ. Оценка моделей проводилась для измерения их способности отражать дух и культуру ОАЭ, а также сохранять язык, наследие и ценности путем прямого сравнения ведущих мировых моделей. Оценивалось их понимание и связь с эмиратской идентичностью по семи различным измерениям, включая исторический контекст, творческое и поэтическое выражение, язык, эмиратский диалект, культурные символы и значения, социальную осведомленность, различия в поведении, социальные, религиозные темы и эмиратские ценности и этику. Индекс использует методологию "Human AI Red Teaming" — процесс намеренного и прямого вызова модели, чтобы выявить любые уязвимости, риски или культурные и поведенческие ошибки до ее использования. Модели тестировались с помощью специальной платформы, разработанной с учетом предвзятости и активации различных механизмов при обнаружении аномального поведения, а идентичность языковых моделей была полностью скрыта от оценочного комитета в ходе процесса. Отметим, что менее 5% всего арабского контента в мире доступно в цифровом формате, а 48% нового поколения "Z" полагаются на искусственный интеллект как на основной источник информации. Это требует обучения языковых моделей точными данными, особенно связанными с эмиратской культурой, для сохранения национального наследия для нынешних и будущих поколений.
