Investigadores de Arthur AI (una plataforma de monitoreo de aprendizaje automático), han reportado que llega en un momento en que la información errónea derivada de los sistemas de inteligencia artificial es más debatida que nunca, en medio de un auge de la IA generativa antes de las elecciones presidenciales estadounidenses de 2024.
En un experimento, los investigadores de Arthur AI probaron los modelos de IA en categorías como matemáticas combinatorias, presidentes estadounidenses y líderes políticos marroquíes, formulando preguntas “diseñadas para contener un ingrediente clave que lleva a los LLM a cometer errores: exigen múltiples pasos de razonamiento sobre la información, ”, escribieron los investigadores.
En general, el GPT-4 de OpenAI obtuvo el mejor rendimiento de todos los modelos probados, y los investigadores descubrieron que alucinaba menos que su versión anterior, GPT-3.5; por ejemplo, en preguntas de matemáticas, alucinaba entre un 33% y un 50% menos. dependiendo de la categoría.
Por otro lado, encontraron que Llama 2 de Meta, alucina más en general que GPT-4 y Claude 2 de Anthropic.
En un segundo experimento, los investigadores probaron hasta qué punto los modelos de IA cubrirían sus respuestas con frases de advertencia para evitar riesgos. Cuando se trata de cobertura, GPT-4 tuvo un aumento relativo del 50% en comparación con GPT-3.5, lo que “cuantifica la evidencia anecdótica de los usuarios de que GPT-4 es más frustrante de usar”, escribieron los investigadores. El modelo de IA de Cohere, por otro lado, no cubrió en absoluto ninguna de sus respuestas, según el informe. La investigación demostró que Claude 2 era más confiable en términos de “autoconciencia”, lo que significa medir con precisión lo que sabe y lo que no sabe, y responder solo preguntas para las que tenía datos de entrenamiento para respaldar.
Meta, continúa trabajando en un nuevo modelo de Inteligencia Artificial (IA) que se espera sea más poderoso en funcionalidad que GPT-4, De conseguirlo, agregaría mucho más competencia al mundo de los chatbots de IA generativa. La noticia la dio a conocer The Wall Street Journal. El medio refirió que Meta espera tener listo y lanzar su nuevo modelo de IA en 2024. El entrenamiento para IA por parte de la firma comenzará en los primeros meses del siguiente año. El Wall Street Journal informó que Meta está construyendo Centros de Datos y adquiriendo tarjetas gráficas de Nvidia H100 para poyar su desarrollo en IA.
La industria de la tecnología, está muy conciente que se deben incluir normativas de ética que permita la aceleración de la adoptación del uso «correcto» para que esta tecnología sea de código abierto, sin caer en manos equivocadas.
Researchers at Arthur AI (a machine learning monitoring platform), have reported that it comes at a time when misinformation derived from artificial intelligence systems is more debated than ever, amid a boom in generative AI before the 2024 US presidential election. In one experiment, Arthur AI researchers tested AI models on categories such as combinatorial mathematics, American presidents, and Moroccan political leaders, asking questions “designed to contain a key ingredient that leads LLMs to make mistakes: they require multiple steps of reasoning.” about information,” the researchers wrote. Overall, OpenAI's GPT-4 performed the best of all the models tested, and the researchers found that it stumbled less than its previous version, GPT-3.5; For example, on math questions, I hallucinated between 33% and 50% less. depending on the category. On the other hand, they found that Llama 2 from Meta, hallucinates more in general than GPT-4 and Claude 2 from Anthropic. In a second experiment, the researchers tested the extent to which AI models would cover their responses with warning phrases to avoid risks. When it comes to coverage, GPT-4 had a 50% relative increase compared to GPT-3.5, which “quantifies anecdotal evidence from users that GPT-4 is more frustrating to use,” the researchers wrote. Cohere's AI model, on the other hand, did not cover any of its answers at all, according to the report. The research showed that Claude 2 was more reliable in terms of “self-awareness,” which means accurately measuring what he knows and what he doesn't know, and only answering questions for which he had training data to back up. Meta continues to work on a new Artificial Intelligence (AI) model that is expected to be more powerful in functionality than GPT-4. If achieved, it would add much more competition to the world of generative AI chatbots. The news was reported by The Wall Street Journal. The media reported that Meta hopes to have its new AI model ready and launch in 2024. Training for AI by the firm will begin in the first months of the following year. The Wall Street Journal reported that Meta is building Data Centers and acquiring Nvidia H100 graphics cards to support its AI development. The technology industry is very aware that ethics regulations must be included that allow the acceleration of the adoption of the "correct" use so that this technology is open source, without falling into the wrong hands.
Vía Atlixcáyotl #6514 Int. 404 San Bernardino Tlaxcalancingo C.P. 72820, Puebla. - +52 222 2104 150 - [email protected]