Los superpronosticadores
Por Adrián Paenza
16 de diciembre de 2021
El profesor Philip Tetlock.
Philip Tetlock es profesor de psicología y ciencia política en la Universidad de Pennsylvania. Nacido en Toronto, Canadá, en 1954. Vivió en ambas costas de los Estados Unidos. Primero en la Universidad de California en Berkeley, cerca de San Francisco, y después en Yale, una de las universidades más importantes del mundo. Su siempre despertó curiosidad dentro del mundo académico porque el objetivo de Tetlock fue siempre encontrar maneras de "predecir el futuro", pero en lugar de hacerlo con los métodos más vergonzantes (como el de la astrología, por ejemplo), Tetlock apuntó siempre a poder determinar en forma científica, la probabilidad de que un cierto acontecimiento suceda (o no).
Philip Tetlock es profesor de psicología y ciencia política en la Universidad de Pennsylvania. Nacido en Toronto, Canadá, en 1954. Vivió en ambas costas de los Estados Unidos. Primero en la Universidad de California en Berkeley, cerca de San Francisco, y después en Yale, una de las universidades más importantes del mundo. Su siempre despertó curiosidad dentro del mundo académico porque el objetivo de Tetlock fue siempre encontrar maneras de "predecir el futuro", pero en lugar de hacerlo con los métodos más vergonzantes (como el de la astrología, por ejemplo), Tetlock apuntó siempre a poder determinar en forma científica, la probabilidad de que un cierto acontecimiento suceda (o no).
Pero para que se entienda,su objetivo no era poder determinar si una acción en la bolsa subiría o no, o si convenía invertir en fondos del tesoro (o no), sino que su idea era aprender (si es que se podía) de la geo-política y geo-economía podría llegar a producirse. Por ejemplo: ¿cuál es la probabilidad de que Grecia salga de la Comunidad Europea? ¿Qué probabilidad hay que haya una guerra civil en Siria? ¿Cuál es la probabilidad de una invasión rusa en Ucrania? ¿Cuál es la probabilidad que la Argentina o Rusia entre en default en los próximos cinco años? Estos casos no los inventaron yo, sino que formaban parte de un cuestionario que aparecían en su proyecto. Pero, ¿qué es lo que ideó Tetlock? Si me acompaña verá que la historia es fascinante.
Desde el año 1984 hasta el 2003, Tetlock consiguió la opinión de 284 expertos en diferentes disciplinas: profesores universitarios, periodistas, integrantes de distintos gobiernos, economistas, matemáticos… de múltiples ideologías, desde personas de formación marxista hasta capitalistas puros. Y organizó torneos por equipos [1], llegando a juntar en casi 20 años más de 28.000 (veintiocho mil) predicciones. Sus conclusiones fueron asombrosas. Aquellos que se autodeclaraban expertos, no acertaban más que si uno hubiera tirado una moneda, o puesto en términos más brutales, los resultados eran comparables a tomar un grupo de chimpancés (sic) y hacerlos tirar dardos: los aciertos entre los expertos y los animales daban resultados equivalentes.
Más aún: cuánta más fama y / o prestigio tenía el pronosticador, peores eran los resultados de sus predicciones ¿Le suena familiar esto? Piense en lo que nos han venido diciendo los "expertos en economía" (por ejemplo) a lo largo de los años. Perdón por la digresión pero no la podía evitar.
Sigo con la historia de Tetlock. Después de este proyecto, Tetlock recibe múltiples premios (fáciles de encontrar en Wikipedia) hasta que un día, en forma totalmente inesperada, recibió una llamada de una agencia de inteligencia norteamericana de la cual yo nunca había escuchado hablar, ni siquiera las siglas, hasta hace muy pocos días: IARPA.
IARPA hijo las Iniciales de Inteligencia Proyectos de Investigación Avanzada de actividad , [2] o al mar, “Actividad de Proyectos de Investigación Avanzada en Inteligencia”. Se presentó ante él tres agentes y le ofrecieron subsidiaria / financiar un proyecto a cuatro años en donde le darían una enorme cantidad de dinero para que él organizara un torneo con equipos formados por personas de diferentes universidades norteamericanas. Cada una de ellas recibiría fondos para financiar las necesidades que tuvieran y ellos mismos se encargarían de seleccionar los integrantes de cada equipo: todo era libre, tanto para seleccionar las áreas de especialización como las credenciales que cada uno podía aportar.
El propio Tetlock y su mujer, Barbara Mellers fueron los co-líderes del equipo que llamaron Good Judgment Project (GJP) (“Proyecto del Buen Juicio”), y empezaron en el año 2011. Tetlock declaró que lo sorprendió la propuesta y que de las tres personas que estaban buscando dos, las personas más jóvenes muy entusiasmados mientras que el tercero, más mayor, no coincidía con sus compañeros.
Y ahora, viene lo mejor. Las preguntas fueron las mismas para todos los equipos, y se suponía que cada grupo debe asignarle una probabilidad (por ejemplo) a estos casos: a) ¿cuál es la probabilidad de que alguno de los países de la Comunidad Europea la abandone antes de determinado fecha? ¿Cuán posible estima usted que se produce algún enfrentamiento en el Mar del Este de China? ” o (como era esperable) "¿Cuál es la probabilidad de que el presidente de Venezuela se vea obligado a dejar el poder?" Como se ve, las preguntas son claramente heterogéneas dentro de la geo-política o geo-economía y no se supone que haya especialistas puros en TODAS las disciplinas. Lo interesante es que UNO de los equipos lo conformaron con gente que trabaja en IARPA y que tiene -por lo tanto- acceso a material clasificado. Todo el resto de los equipos,
El resultado fue impactante. El equipo de Tetlock superó a TODOS los otros equipos con un grado de acierto (que solo pudieron comprobar con el paso del tiempo) que estuvo entre el 40 y el 70 por ciento, mientras que al equipo de IARPA lo superaron por más del 30 por ciento ¿Consecuencia? Las autoridades de la agencia de inteligencia, despidieron a TODO el personal que estaba trabajando y contrataron al grupo de Tetlock.
Dicho todo esto, ¿qué utilidad podemos extraer nosotros? Tetlock dijo que él (ellos) se quedaron o contrataron a un 2 por ciento de los pronosticadores o predictores de los otros grupos. Hicieron pruebas posteriores, intentado detectar lo que sería una regresión a la media, o sea, que los valores que se obtendrían enormemente más compatibles con los de la mayoría de los otros participantes. Si bien eso sucedió en general, no pasó con ese dos por ciento de participantes.
Me quiero apurar a destacar que ninguno cobró más dinero por haber acertado más. El UNICO objetivo que se perseguía es pasar a formar parte de lo que se denomina los SUPERFORECASTERS (“Superpronosticadores” o “Superpredictores”). Ese grupo de personas existe aún hoy, casi a principios del año 2022 y Estados Unidos lo utiliza en muchísimas oportunidades.
Yo me imagino que si usted está leyendo estas líneas tendrá un gran escepticismo. En las páginas de este mismo diario [3], hace un poquito más de seis años, el 5 de diciembre del 2015, apareció un artículo titulado “Mohamed Bouazizi”. Los acontecimientos allí descriptos en donde un joven tunecino, justamente Mohamed Bouazizi, frente a la brutalidad policial del cual fue objeto, decidió 'inmolarse' (y no en forma virtual, sino real): ¡se prendió fuego! Ese evento disparó una multitud de otros, que en principio no parecían tener relación: “Una mujer que vive en un suburbio de Kansas City puede pensar que Túnez es otro planeta y que su vida no tiene conexión con él, pero si estaba casada con un piloto de la fuerza aérea norteamericana que vuela desde la Base de la Fuerza Aérea de Whiteman cercana al lugar en donde se inmoló Mohamed, podría estar sorprendida al saber que las acciones de este “oscuro tunecino” (un verdadero héroe) llevaron a protestas, que llevaron a disturbios, que llevaron al derrocamiento de un dictador, que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocó que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo. que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocaron que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo. que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocaron que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo.
Las personas que se dedican a implementar políticas (en nuestro gobierno o aplicable en cualquier otro caso), requieren tener esa capacidad de ser "super-predictores", poder adjudicarle una probabilidad de éxito a una política y qué consecuencias va a tener. No hay garantías de éxito, obviamente, y supongo que nadie pretende creer que lo puede conseguir, pero estar preparado y contemplar resultados son las variables en juego, y quiénes serán los que paguen las consecuencias, eso SÍ que es proyectable.No hacerlo, no munirse de todas estas capacidades, significa no estar preparados. Elegir una casa para comprar, o una mujer (u hombre) para que lo / la acompañe toda la vida, decidir qué carrera seguir, qué auto comprar, o el medio de transporte que va a usar para ir a trabajar, son variantes obvias de quienes nos dedicamos a "predecir", o sea… TODOS, al menos los adultos. No adjudicarle una determinada probabilidad de éxito, es hacer mal la tarea. Metodologías hay, falibles ciertamente, pero preferibles a no hacer nada [4].
[1] El Proyecto se llamó “Juicio político experto: ¿Qué tan bueno es? ¿Cómo podemos saberlo?
[2] https://www.iarpa.gov/
[3] https://www.pagina12.com.ar/diario/contratapa/13-287620-2015-12-05.html
[4] Si le interesa leer o aprender más sobre el tema, Philip Tetlock y Dan Gardner escribieron un libro “Superforecasting” (“Superpronosticando”) que recomiendo que lea, y dos charlas que dio Tetlock acá que se reproducen en inglés en los videos de esta nota.
Desde el año 1984 hasta el 2003, Tetlock consiguió la opinión de 284 expertos en diferentes disciplinas: profesores universitarios, periodistas, integrantes de distintos gobiernos, economistas, matemáticos… de múltiples ideologías, desde personas de formación marxista hasta capitalistas puros. Y organizó torneos por equipos [1], llegando a juntar en casi 20 años más de 28.000 (veintiocho mil) predicciones. Sus conclusiones fueron asombrosas. Aquellos que se autodeclaraban expertos, no acertaban más que si uno hubiera tirado una moneda, o puesto en términos más brutales, los resultados eran comparables a tomar un grupo de chimpancés (sic) y hacerlos tirar dardos: los aciertos entre los expertos y los animales daban resultados equivalentes.
Más aún: cuánta más fama y / o prestigio tenía el pronosticador, peores eran los resultados de sus predicciones ¿Le suena familiar esto? Piense en lo que nos han venido diciendo los "expertos en economía" (por ejemplo) a lo largo de los años. Perdón por la digresión pero no la podía evitar.
Sigo con la historia de Tetlock. Después de este proyecto, Tetlock recibe múltiples premios (fáciles de encontrar en Wikipedia) hasta que un día, en forma totalmente inesperada, recibió una llamada de una agencia de inteligencia norteamericana de la cual yo nunca había escuchado hablar, ni siquiera las siglas, hasta hace muy pocos días: IARPA.
IARPA hijo las Iniciales de Inteligencia Proyectos de Investigación Avanzada de actividad , [2] o al mar, “Actividad de Proyectos de Investigación Avanzada en Inteligencia”. Se presentó ante él tres agentes y le ofrecieron subsidiaria / financiar un proyecto a cuatro años en donde le darían una enorme cantidad de dinero para que él organizara un torneo con equipos formados por personas de diferentes universidades norteamericanas. Cada una de ellas recibiría fondos para financiar las necesidades que tuvieran y ellos mismos se encargarían de seleccionar los integrantes de cada equipo: todo era libre, tanto para seleccionar las áreas de especialización como las credenciales que cada uno podía aportar.
El propio Tetlock y su mujer, Barbara Mellers fueron los co-líderes del equipo que llamaron Good Judgment Project (GJP) (“Proyecto del Buen Juicio”), y empezaron en el año 2011. Tetlock declaró que lo sorprendió la propuesta y que de las tres personas que estaban buscando dos, las personas más jóvenes muy entusiasmados mientras que el tercero, más mayor, no coincidía con sus compañeros.
Y ahora, viene lo mejor. Las preguntas fueron las mismas para todos los equipos, y se suponía que cada grupo debe asignarle una probabilidad (por ejemplo) a estos casos: a) ¿cuál es la probabilidad de que alguno de los países de la Comunidad Europea la abandone antes de determinado fecha? ¿Cuán posible estima usted que se produce algún enfrentamiento en el Mar del Este de China? ” o (como era esperable) "¿Cuál es la probabilidad de que el presidente de Venezuela se vea obligado a dejar el poder?" Como se ve, las preguntas son claramente heterogéneas dentro de la geo-política o geo-economía y no se supone que haya especialistas puros en TODAS las disciplinas. Lo interesante es que UNO de los equipos lo conformaron con gente que trabaja en IARPA y que tiene -por lo tanto- acceso a material clasificado. Todo el resto de los equipos,
El resultado fue impactante. El equipo de Tetlock superó a TODOS los otros equipos con un grado de acierto (que solo pudieron comprobar con el paso del tiempo) que estuvo entre el 40 y el 70 por ciento, mientras que al equipo de IARPA lo superaron por más del 30 por ciento ¿Consecuencia? Las autoridades de la agencia de inteligencia, despidieron a TODO el personal que estaba trabajando y contrataron al grupo de Tetlock.
Dicho todo esto, ¿qué utilidad podemos extraer nosotros? Tetlock dijo que él (ellos) se quedaron o contrataron a un 2 por ciento de los pronosticadores o predictores de los otros grupos. Hicieron pruebas posteriores, intentado detectar lo que sería una regresión a la media, o sea, que los valores que se obtendrían enormemente más compatibles con los de la mayoría de los otros participantes. Si bien eso sucedió en general, no pasó con ese dos por ciento de participantes.
Me quiero apurar a destacar que ninguno cobró más dinero por haber acertado más. El UNICO objetivo que se perseguía es pasar a formar parte de lo que se denomina los SUPERFORECASTERS (“Superpronosticadores” o “Superpredictores”). Ese grupo de personas existe aún hoy, casi a principios del año 2022 y Estados Unidos lo utiliza en muchísimas oportunidades.
Yo me imagino que si usted está leyendo estas líneas tendrá un gran escepticismo. En las páginas de este mismo diario [3], hace un poquito más de seis años, el 5 de diciembre del 2015, apareció un artículo titulado “Mohamed Bouazizi”. Los acontecimientos allí descriptos en donde un joven tunecino, justamente Mohamed Bouazizi, frente a la brutalidad policial del cual fue objeto, decidió 'inmolarse' (y no en forma virtual, sino real): ¡se prendió fuego! Ese evento disparó una multitud de otros, que en principio no parecían tener relación: “Una mujer que vive en un suburbio de Kansas City puede pensar que Túnez es otro planeta y que su vida no tiene conexión con él, pero si estaba casada con un piloto de la fuerza aérea norteamericana que vuela desde la Base de la Fuerza Aérea de Whiteman cercana al lugar en donde se inmoló Mohamed, podría estar sorprendida al saber que las acciones de este “oscuro tunecino” (un verdadero héroe) llevaron a protestas, que llevaron a disturbios, que llevaron al derrocamiento de un dictador, que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocó que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo. que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocaron que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo. que llevaron a protestas en Libia, que condujeron a una guerra civil, que condujeron a la intervención de la OTAN en 2012, que provocaron que su marido terminara esquivando fuego antiaéreo sobre Trípoli. Esa es una conexión fácilmente rastreable con la tecnología actual. En general, las conexiones son más difíciles de detectar, pero están a nuestro alrededor. Este ejemplo, en todo caso, muestra cuán difícil es pronosticar, cómo saber cuál será el evento que dispare todo.
Las personas que se dedican a implementar políticas (en nuestro gobierno o aplicable en cualquier otro caso), requieren tener esa capacidad de ser "super-predictores", poder adjudicarle una probabilidad de éxito a una política y qué consecuencias va a tener. No hay garantías de éxito, obviamente, y supongo que nadie pretende creer que lo puede conseguir, pero estar preparado y contemplar resultados son las variables en juego, y quiénes serán los que paguen las consecuencias, eso SÍ que es proyectable.No hacerlo, no munirse de todas estas capacidades, significa no estar preparados. Elegir una casa para comprar, o una mujer (u hombre) para que lo / la acompañe toda la vida, decidir qué carrera seguir, qué auto comprar, o el medio de transporte que va a usar para ir a trabajar, son variantes obvias de quienes nos dedicamos a "predecir", o sea… TODOS, al menos los adultos. No adjudicarle una determinada probabilidad de éxito, es hacer mal la tarea. Metodologías hay, falibles ciertamente, pero preferibles a no hacer nada [4].
[1] El Proyecto se llamó “Juicio político experto: ¿Qué tan bueno es? ¿Cómo podemos saberlo?
[2] https://www.iarpa.gov/
[3] https://www.pagina12.com.ar/diario/contratapa/13-287620-2015-12-05.html
[4] Si le interesa leer o aprender más sobre el tema, Philip Tetlock y Dan Gardner escribieron un libro “Superforecasting” (“Superpronosticando”) que recomiendo que lea, y dos charlas que dio Tetlock acá que se reproducen en inglés en los videos de esta nota.
