¿Cuáles son las mejores formas escalables para verificar los hechos?

¿Dónde se escondía esta pregunta? Excelente y tópica pregunta! Espera, déjame pasar a mi tableta, ya que podría haber bastante dibujo para hacer aquí …

… Tenga en cuenta que hay varias soluciones, pero la que presento aquí la uso con bastante regularidad, aunque hago la mayoría de esto manualmente y uso muchos atajos y heurísticas en lugar de codificarlo. Es humanamente factible y siempre que esté dispuesto a profundizar en la inferencia difusa, estoy bastante seguro de que también es factible por máquina (la inferencia difusa ya es bastante madura en los círculos académicos).

TL; DR: lógica difusa y recorrido de gráfico


El primer paso es comprender algunas definiciones a los efectos de la conversación.

Hecho

Verdades no cuestionadas, ya sean obtenidas a través de investigaciones científicas y empíricas significativas (podría decirse que es posible que no pueda llamar a estas “verdades”, pero a todos los efectos son tan atípicas que casi con certeza son causales.

Hechos del candidato

Una proposición cuya verdad aún no se ha determinado.

Datos sin procesar

El nivel más bajo de datos atómicos que se puede recopilar y agregar a través de varias variables y dimensiones.

Estudio científico

Comparaciones simple o doble ciego contra un grupo de control. Idealmente, siguiendo el estándar de oro del método científico (aleatorizado, doble, ciego, ensayo controlado).

Metaestudio o metaanálisis

Examinando investigaciones pasadas y evaluándolas juntas, teniendo en cuenta aspectos como la paradoja de Simpson, pero también incluyendo aspectos relevantes del trabajo fuente (es decir, cualquier agenda de la persona que escribe el artículo)

Relaciones semánticas

Un gráfico dirigido de facetas relacionadas de un conjunto de hechos a otro. Las ontologías contienen toneladas de estas y no solo eso, existen efectivamente “ontologías 3D” donde la información contenida en las relaciones de una ontología significa cosas diferentes en diferentes contextos.


Representación Gráfica

Cada pieza de información reportada, de hecho o no, debe provenir de una fuente. La fuente produce una o más proposiciones que deben ser examinadas por la verdad. El camino desde la fuente hasta algún destino / destino está bordeado de agentes que no son transmisores de información puros y precisos por ningún motivo.

También hay, llamémosles agentes de “hechos alternativos” para reír, que provienen de otra fuente. La conversión a través del “agente viral” en cada caso es una función de su propensión a propagarse, su afinidad con las noticias y su capacidad o voluntad de propagar el hecho completo, o un fragmento fuera de contexto (cómo ocurre el fuera de contexto es irrelevante, ya que altera el sentimiento del hecho). Los arcos aquí denotan la cantidad de información que se ha propagado a través del límite del agente, de adentro hacia afuera.

La relación de estos dos números puede considerarse un coeficiente de propagación [de hecho], pero también es una función de la propensión a compartir, o de otra manera votar en Quora, por ejemplo. Luego, simplemente se convierte en un recorrido de gráfico ponderado, que representa la direccionalidad y las rutas de Arco / Relación.

¿Porque es esto importante?

Considere el “nodo” de TV. Es un punto donde se encuentran dos conjuntos de hechos en conflicto. Desde una perspectiva estadística (porque el “conjunto de declaraciones fácticas” realmente denota el hecho completo) la pregunta es ¿cuánto se superpone? y cuanto son independientes? Literalmente es un recorrido de un gráfico y estadísticas.

Para bucear más profundo, necesitamos entender la función de propagación. Esto tiene una serie de factores que lo influyen y es un ejercicio en ANOVA / Análisis factorial / Matrices de correlación para descubrir cuáles son esos factores relevantes. Hay ciertos aspectos que son totalmente irrelevantes para los “hechos candidatos”, incluido el hecho real a veces. Por supuesto, depende de la fuente y la propensión del agente a creerlo y compartirlo.

Afortunadamente, tenemos una manera fácil y agradable de determinar el orden del material. La fecha en que se manifiesta. Las referencias vinculadas son los datos que el contenido vinculado se produjo. Esta pista temporal crea una cadena de dependencia natural desde la fuente, a través de cada uno de los nodos que la propagan.

Además, la función de propagación tiene un factor relacionado con el egoísmo de un agente individual. La agenda detrás de la propagación. Todos lo hacemos, incluso si estamos refutando hechos. Esto, naturalmente, crea una propensión a propagar ciertos tipos de información sobre otros. Esto también se manifiesta en pulgadas de columna de periódico, ya que los periódicos y los medios de comunicación atraen a tipos particulares de lectores, por lo que el equilibrio no suele ser un requisito.


Ejemplo: Universidad de Loughborough y Brexit [1]

La Universidad de Loughborough realizó un ejercicio de análisis periódico sobre la propensión de determinados tipos de medios a informar noticias “entrantes” o “salientes” simplemente contando el número de elementos en el período previo a los resultados del referéndum de la UE.

Con lo que Loughborough debería haber aumentado esto fue con el número de agentes receptores, que luego pudieron haberlo propagado (el último de los dos no se completó) y esto nos dará dos factores importantes en el recorrido del gráfico:

  1. El tamaño de la predisposición a cada contenido (los lectores)
  2. La cantidad de salida de contenido (del gráfico anterior)

Por ejemplo, The Sun tiene un número total de lectores de 1,67 millones que estaban predispuestos al contenido neto de licencia de -60 elementos, que tuvieron que ser contrarrestados por un número similar, escojamos el Financial Time, que solo tenía un número de lectores de 189,000. Por lo tanto, empequeñeciendo la viralidad de los lectores del FT por un factor de 10 en la coyuntura (similar al punto de TV en el gráfico inicial). En resumen, es una suma de productos de esto.


El problema aquí es la necesidad de volver a los datos de origen a partir de estos datos y este es un problema transversal del gráfico, acumulando los elementos que faltan en el árbol de hechos de nuevo a la fuente y comparándolo con la coyuntura (que es, en esencia, qué hacen los pesos en los arcos cuando se multiplican a lo largo de un camino).

Epílogo

Todo el ejercicio de verificación de hechos es un ejercicio de prueba de teoremas, pero requiere varias capas de trabajo para obtener una representación que pueda usarse para determinar la verdad o no, de una conjetura. Junto con las limitaciones en la demostración del teorema, tenemos que entrar en un mundo de monto-carlo en el que no va a probar la verdad de una declaración con 100% de certeza todo el tiempo , pero definitivamente puede acercarse mucho y casi siempre puede hacer todo uno con el que te encuentres.

Lo único que falta en esta respuesta son los efectos no lineales, donde el conocimiento de otro dominio contrarresta el dominio inicial, ya sea a través de la integridad (dañando así la consistencia de la proposición original) o como un contador directo al absurdo. Sin embargo, esto no es demasiado.

Lo que es aún peor es que algunos aspectos tienen un “grado de verdad” (es decir, los pesos en los arcos) que instantáneamente lo hace borroso, lo que limita las inferencias lógicas de primer orden (las inferencias borrosas de pensamiento están bien). Sin embargo, puedes cortar eso fácilmente usando el Incomplete de Godel contra él. Básicamente, reduzca el grado de membresía en un conjunto de declaraciones “universalmente verdaderas” o “no universalmente verdaderas”.

Notas al pie

[1] Cobertura mediática del referéndum de la UE (informe 5) – Centro de Investigación en Comunicación y Cultura

Después de una lluvia de ideas, esto es lo que se me ocurrió. La pregunta no está escrita específicamente para Quora, pero dado quién la hizo, estoy seguro de que la verificación de hechos de Quora fue parte de la motivación. Aunque la “programación de computadoras” es uno de los temas, veo esto mucho más como un ejercicio de ingeniería social:

  • Tenga una manera de permitir que las personas marquen fácilmente un hecho por ser sospechoso. Se puede proporcionar evidencia si se desea. Notifique al autor del hecho original de cada marcación.
  • Use AI / machine learning, como ya lo ha hecho Quora, para evaluar el valor de cada marca de sospecha basada en credenciales relevantes verificadas, recepción de escritos anteriores por autoridades respetadas en los campos relevantes, etc.
  • Los hechos disputados varias veces se resaltarán siempre que se presenten, y los expertos pueden, sobre la marcha, notar su disputa adicional con el hecho o apoyarlo.
  • La evidencia a favor o en contra de cada hecho se puede ver fácilmente con un solo clic, o incluso simplemente con el puntero del mouse.
  • Los hechos de fuentes anónimas, disputados más allá de un umbral dado, serán eliminados.
  • Los hechos que reciben mucho más apoyo que la disputa se marcarán como ya no sospechosos. La evidencia estará disponible para su visualización y se incluirá automáticamente si el hecho luego entra en disputa.
  • Veinte hechos de fuentes no anónimas con la mayor sospecha serán puestos en la “sala de juicio”, con solicitudes por un mes, pidiendo citas concisas / evidencia objetiva que respalde o desacredite los hechos en cuestión. El autor del hecho original será notificado de esta ventana de tiempo.
  • Los moderadores pagados investigarán la evidencia provista y tomarán las decisiones finales. Si no están razonablemente seguros, retrasan la toma de decisiones.
  • Al final de la ventana de tiempo, si no se presenta evidencia clara que confirme el hecho, el hecho debe eliminarse.
  • Para limitar la cantidad de hechos en disputa, se mantendrá el historial de hechos desacreditados, y se incurrirá en sanciones significativas, pero no insuperables, de “confiabilidad” por cada hecho desacreditado.
  • Por el contrario, se otorgará un bono de confiabilidad menor cuando un hecho se disputa pero se demuestra que es correcto.

Este es un problema mayormente resuelto anidado en dos problemas más espinosos.

El hecho de clasificar el fragmento de ficción suele ser trivial en sí mismo. La verdadera dificultad es explicar esos hallazgos de una manera que todos entiendan y crean.

Desde el punto de vista de la comprensión, el desafío es que realmente necesita producir media docena de versiones de cada informe, cada una con un nivel diferente de abstracción. La versión más precisa, matizada y granular siempre será ilegible para cualquier persona que no sea experta, y la versión Snopes siempre simplificará las cosas de una manera que no aborde contextos más grandes. (Este es un problema urgente y no resuelto dentro de las noticias en sí, y no estoy seguro de que una solución sea inminente).

Entonces tienes aceptación, que es esencialmente un problema del lado de la demanda. Podrías crear una docena de servicios infalibles de verificación de hechos mañana y no estoy seguro de que la aguja se mueva demasiado. Las personas equivocadas generalmente no están interesadas en ser corregidas, a menos que usted pueda simultáneamente:

  1. Ayúdelos a entender por qué es mejor tener razón.
  2. Ayúdelos a liberarse de los impulsos y restricciones tribales.
  3. Convencerlos de pagar las penalidades sociales por cambiar de opinión.

Si bien existen curas estructurales para frenar las noticias falsas (ver la propuesta de Facebook del año pasado), es poco probable que logren mucho. Incluso si Facebook se había comprometido con ellos (no lo hicieron), existía un riesgo sustancial de que los cambios alentaran a los creadores de noticias falsas a volverse mucho más insidiosos (en este momento son tan astutos que cualquiera que tenga la mente para detectar el BS puede, lo que podría cambiar si creamos incentivos para que los creadores de noticias falsas se vuelvan más astutos).

Entonces, todo eso en mente, ¿cuál es la mejor manera escalable de verificar los hechos?

Crear sistemas educativos y sociales que valoren el valor económico, cívico y ético de tener razón, al tiempo que disminuyen los costos tribales de cambiar de opinión.

Todo lo demás es un atajo insostenible.

No estoy seguro de lo que quieres decir con escalable. ¿Estás hablando de un algoritmo de software para la verificación de hechos? Actualmente, eso no es confiable, excepto por un pequeño porcentaje de hechos.

Hay un número esencialmente infinito de hechos. Muchos de ellos no parecen ser importantes, por ejemplo, la cantidad de guijarros en la playa de Brighton o la altura de la brizna de hierba más alta en el área metropolitana de Londres. Y luego están todos esos hechos sobre las partes del universo en las que no hemos estado. Muchos hechos, la mayoría no verificables por medios escalables o de cualquier otro tipo.

Luego hay un subconjunto de hechos que se consideran útiles. Al igual que la eficiencia de combustible de la camioneta Ford Transit de este año, o la capacidad de asientos del estadio de Wembley, o el nombre de la esposa de la persona que era jefe de estado de Croacia en 1997. Estos hechos son comprobables.

Y luego tenemos hechos que son útiles, pero que no se consideran ampliamente útiles, como a qué hora es mi reunión con RRHH el martes, o dónde Fred Bloggs dejó las llaves de su auto, o cuál es el saldo bancario actual de Wortlethorpe Model Railway Club.

Pero, en todos los casos, la única forma confiable de verificar los hechos es determinar una autoridad y verificarla. En el caso del Ford Transit, podríamos intentarlo: Ford como la autoridad. Quizás lo publiquen. Y para Wembley, quizás Wikipedia lo publique.

Pero para el segundo conjunto de hechos, es mucho más difícil. El banco Barclays conoce el saldo de la cuenta de Model Railway Club, pero no se lo dirán. El tesorero puede saberlo, y si no lo hace, Barclays se lo dirá. El servidor de intercambio en mi oficina tiene el registro autorizado de mi reunión con Recursos Humanos, pero nuevamente, es difícil obtener esa información a menos que usted sea yo (o alguien en Recursos Humanos o un administrador de TI).

Por supuesto, esto solo abre la cuestión de cómo verificar un hecho sobre la autoridad para otro hecho. ¿Cómo sabemos que Ford es una autoridad en el tránsito de Ford? Parece obvio, pero ¿por qué es obvio? ¿Y Wikipedia es realmente una autoridad en el tamaño de Wembley?

Cuando esto se explora más a fondo, descubrimos que existe una red de confianza entre las autoridades, de modo que terminan con círculos de autoridad que confían entre sí. Cuanto más grande es el círculo, más seguros podemos estar de la autoridad.

Por desgracia, incluso esto tiene defectos. La Biblia fue considerada una vez una autoridad en todo tipo de cosas, y de hecho el círculo de confianza era fuerte. Muchas figuras confiables confiaron en él, y muchos otros textos lo citaron. Pero ahora parece ser menos una autoridad.

La verificación de hechos es esencialmente difícil. Y eso es precisamente por lo que requiere un poco de reflexión, porque es fácil ser engañado. No hay una solución rápida. Todos deben decidir en qué autoridades confiar y cuánto confiar en otras autoridades sobre la base de quién más confía en ellas.

More Interesting

¿Los medios están alimentando intencionalmente (o de otro modo) el odio, la división y la violencia en Estados Unidos?

¿Las noticias convencionales son solo una forma sofisticada de clickbait?

¿En qué se diferencian los periódicos de la India de los periódicos de Estados Unidos o de cualquier país desarrollado?

¿Cuál es el principio detrás de los medios que no publican el nombre de 'Jackie' en el engaño UVa?

¿Hay versiones 'canadienses' de podcasts / shows como Secular Talk, Jimmy Dore Show, The Humanist Report, TYT, etc.? ¿Hay alguna versión 'latinoamericana'?

¿Debería preocuparme por un ataque nuclear de Corea del Norte contra California?

¿Cómo pueden nuestros sistemas de noticias informar, por un lado, que ni siquiera estamos en recesión y, por otro, que estamos en una depresión?

¿Podría un sitio web de noticias serio usar GIF en sus historias?

Cuando los gobiernos y los medios hablan de controlar la "charla" terrorista, ¿qué quieren decir exactamente?

¿Qué tan importante es el Daily Show para las personas que realmente están involucradas en la política y / o los medios de comunicación?

¿Qué debo leer o mirar para comprender los desafíos socio-económicos y políticos del mundo?

¿Por qué los reporteros de noticias (especialmente en la televisión) informan todas sus historias en tiempo presente?

¿Alguna vez buscas información que contradiga tus puntos de vista o simplemente buscas información que los confirme?

Históricamente, en el cambio del gobierno democrático al autoritario, ¿cómo cambian los medios?

¿Cuál es la mejor fuente de noticias en inglés sobre Oriente Medio?