OpenAI\u00a0pausar\u00e1 parte del desarrollo de una actualizaci\u00f3n prevista para\u00a0ChatGPT\u00a0ante el temor de que sus capacidades puedan representar un riesgo demasiado elevado si el modelo se lanza al p\u00fablico.<\/p>\n\n\n\n
El nuevo modelo, denominado Astra, incorpora \u201cavances significativos en programaci\u00f3n ag\u00e9ntica y ciberseguridad\u201d, se\u00f1al\u00f3 la empresa. Sin embargo, las pruebas mostraron que podr\u00eda ser demasiado poderoso y representar una amenaza si fuera lanzado.<\/p>\n\n\n\n
El anuncio se produce mientras OpenAI contin\u00faa enfrentando las consecuencias de un experimento en el que uno de sus modelos a\u00fan no lanzados inici\u00f3 por s\u00ed solo un ataque inform\u00e1tico contra otra empresa de inteligencia artificial.<\/p>\n\n\n\n
El descubrimiento de ese ciberataque deriv\u00f3 en una serie de revelaciones similares por parte de otras compa\u00f1\u00edas de inteligencia artificial y aument\u00f3 los temores de que los nuevos sistemas puedan llegar a ser demasiado poderosos para ser controlados.<\/p>\n\n\n\n
Astra no estuvo involucrado en ese incidente, en el que el modelo experimental atac\u00f3 a la plataforma de inteligencia artificial Hugging Face. Sin embargo, su desempe\u00f1o llev\u00f3 a OpenAI a considerar que por ahora podr\u00eda no ser lo suficientemente seguro para su lanzamiento p\u00fablico y que ser\u00edan necesarias nuevas medidas de protecci\u00f3n antes de hacerlo.<\/p>\n\n\n\n
Expertos en ciberseguridad y empresas de inteligencia artificial han promovido estas herramientas como mecanismos importantes para descubrir posibles vulnerabilidades en programas inform\u00e1ticos y permitir que las compa\u00f1\u00edas las corrijan. Pero esas mismas capacidades tambi\u00e9n podr\u00edan resultar \u00fatiles para los atacantes cibern\u00e9ticos, quienes podr\u00edan emplearlas para realizar ataques sin siquiera tener que controlarlos directamente, seg\u00fan sugieren incidentes recientes.<\/p>\n\n\n\n
En parte para atender estas preocupaciones, OpenAI implement\u00f3 a finales de 2023 un \u201cMarco de Preparaci\u00f3n\u201d (Preparedness Framework), dise\u00f1ado para identificar los avances en las capacidades de sus modelos y responder a los nuevos desarrollos de manera que se mantengan seguros.<\/p>\n\n\n\n
OpenAI se\u00f1al\u00f3 que el nuevo modelo Astra podr\u00eda haber alcanzado el nivel \u201cCr\u00edtico\u201d establecido en ese marco. Esto ocurre cuando un sistema es capaz de encontrar y desarrollar vulnerabilidades en sistemas cr\u00edticos del mundo real sin supervisi\u00f3n humana, o cuando puede ejecutar por s\u00ed mismo nuevas estrategias para realizar ciberataques avanzados.<\/p>\n\n\n\n
La empresa indic\u00f3 que contin\u00faa con sus evaluaciones, pero reconoci\u00f3 que el desempe\u00f1o del nuevo modelo le impide descartar que Astra haya alcanzado ese nivel.<\/p>\n\n\n\n
En respuesta, OpenAI increment\u00f3 las pruebas de sus mecanismos de protecci\u00f3n y controles de seguridad. Esto incluye colocar al modelo en entornos de prueba mejor aislados, con el objetivo de evitar que pueda evadir esas medidas de protecci\u00f3n, como ocurri\u00f3 con su otro modelo durante el ataque contra Hugging Face.<\/p>\n\n\n\n
La empresa se\u00f1al\u00f3 que pausar\u00e1 el trabajo en el modelo Astra en aquellas situaciones que no cumplan con los niveles m\u00e1s elevados de protecci\u00f3n y controles de seguridad.<\/p>\n\n\n\n
Asimismo, vigilar\u00e1 de cerca a Astra para detectar \u201cacciones riesgosas\u201d y comportamientos indebidos. Tambi\u00e9n trabajar\u00e1 con \u201corganismos gubernamentales pertinentes y organizaciones seleccionadas de seguridad de la inteligencia artificial para probar las capacidades de este modelo\u201d, adem\u00e1s de proporcionar mejores controles de seguridad a terceros que participen en sus pruebas.<\/p>\n\n\n\n
\u201cCreemos que los modelos avanzados con capacidades cibern\u00e9ticas deben ayudar a los defensores a identificar y corregir vulnerabilidades antes que los atacantes\u201d, afirm\u00f3 OpenAI.<\/p>\n\n\n\n
La compa\u00f1\u00eda a\u00f1adi\u00f3 que est\u00e1 comprometida a trabajar junto con gobiernos, institutos de seguridad y la sociedad civil para garantizar que las capacidades de vanguardia de modelos como Astra, as\u00ed como de los que le sigan, sean implementadas de manera responsable y amplia en beneficio de toda la humanidad.<\/p>\n\n\n\n
Fuente: La Jornada<\/p>\n","protected":false},"excerpt":{"rendered":"
OpenAI\u00a0pausar\u00e1 parte del desarrollo de una actualizaci\u00f3n prevista para\u00a0ChatGPT\u00a0ante el temor de que sus capacidades puedan representar un riesgo demasiado elevado si el modelo se lanza al p\u00fablico. El nuevo modelo, denominado Astra, incorpora \u201cavances significativos en programaci\u00f3n ag\u00e9ntica y ciberseguridad\u201d, se\u00f1al\u00f3 la empresa. Sin embargo, las pruebas mostraron que podr\u00eda ser demasiado poderoso y […]<\/p>\n","protected":false},"author":2,"featured_media":148961,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[57],"tags":[],"class_list":["post-148959","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/posts\/148959","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/comments?post=148959"}],"version-history":[{"count":1,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/posts\/148959\/revisions"}],"predecessor-version":[{"id":148962,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/posts\/148959\/revisions\/148962"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/media\/148961"}],"wp:attachment":[{"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/media?parent=148959"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/categories?post=148959"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/elcuartopoder.com.mx\/nw\/wp-json\/wp\/v2\/tags?post=148959"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}