La NASA se involucra en el buscador Memex

El pasado 10 de febrero de 2015, Pablo G. Bejerano escribía para el diario.es que la Agencia de Proyectos de Investigación Avanzada para la Defensa (DARPA, en sus siglas en inglés) había desarrollado un buscador llamado Memex. Con el mismo se pretendía indexar esa parte de la Red cuyos sitios no aparecen en los resultados de los buscadores convencionales como Google o Bing, que se ha dado en llamar Deep Web y que constituye, en contra de lo que a priori pueda parecer, más del 90% de todo Internet.

Para conseguir esto, afirmaba la noticia en eldiario.es antes mencionada, el buscador funciona organizando “subconjuntos de información en base a intereses específicos, de forma que sea más útil para mostrar resultados relacionados con determinados dominios o actividades”. La revista Tech Times recoge un ejemplo práctico: “Al buscar un número de teléfono y un nombre que sale de repente en un anuncio relacionado con la trata [de personas con fines de explotación] sexual, no va a aparecer [en este buscador] una lista de páginas donde figura ese teléfono y ese nombre. En su lugar, Memex crearía un diagrama que contendría distintos puntos que representarían las páginas donde aparecen ese nombre y ese número, dibujando así una imagen más amplia de lo que podría ser un anillo de tráfico de seres humanos que opera en línea”.

Meses después de publicarse esta noticia, saltaba otra a las páginas de la revista especializada Extreme Tech el 26 de mayo, donde se explicaba que la NASA había empezado a colaborar con la DARPA en el proyecto Memex. Los científicos que se habían unido a esta empresa pertenecían al Laboratorio de Propulsión a Chorro de la Agencia Espacial estadounidense en Pasadena (California, EEUU).

La Deep Web que está detrás de todo

Deep WebSi la NASA tiene enormes cantidades de datos alojados en la llamada Deep Web que pueden ser comprensibles para los seres humanos, pero no para los rastreadores convencionales, se entiende entonces el interés de la Agencia por un nuevo buscador que, valiéndose de la inteligencia artificial, tendría en ese espacio de Internet una capacidad de rastreo e indexación muy similar al robot de Google. Si dicho robot, pese a la eficacia en su radio de acción, solo es capaz de indexar el 5% aproximadamente de todos los contenidos de la Web, alguien podría preguntarse entonces cómo Memex podría llegar a indexar la mayor parte de ese 95%.

Christopher Mattmann, uno de los principales investigadores del Laboratorio de Propulsión a Chorro de la NASA en Pasadena que ha trabajado en el proyecto Memex, explica para eldiario.es que “los datos de las investigaciones científicas de la NASA están alojados en archivos de datos y servicios que exhiben las características de lo que llamamos Deep Web”.

Y continúa diciendo que “la Deep Web es la web que está detrás de los formularios, los inicios de sesión, las autentificaciones; es la web que está detrás de AJAX y Javascript y que los rastreadores suelen ignorar y no procesar porque requiere un navegador para ver el contenido real; y es la web que está detrás de los archivos de datos científicos heterogéneos que los rastreadores no saben cómo analizar y darles sentido”. El investigador se refiere a “los archivos en HDF (Hierarchical Data Format) o en NetCDF (Network Common Data Format). Estos son archivos de datos binarios y los rastreadores suelen detenerse por completo ahí”.

Christopher Mattmann asegura que “la gran diferencia técnica es la atención y la capacidad tecnológica. Google y Bing son líderes en muchas áreas a la hora de ayudar a producir la tecnología y las ideas que se pueden usar para explorar mejor la Deep Web y la Dark Web. Sin embargo, el interés de Google y Microsoft es obtener un beneficio, no necesariamente en asuntos humanitarios o de seguridad […] Este es el hueco que llena Memex”.

El binomio NASA-DARPA

Mattmann establece una diferencia crucial cuando se le pregunta por el escollo que se puede encontrar Memex al intentar indexar esas URL de las profundidades de la Red que se modifican cada pocos meses, semanas o incluso días: “Estas serían las URL de la Dark Web, a las que habitualmente se accede usando el protocolo de Tor”. La colaboración de la NASA con la DARPA no se limita estrictamente al plano de la investigación científica.

“La NASA colabora a través del programa Memex. Nosotros nos centramos en la Deep Web, pero también contribuimos de forma limitada al intercambio de tecnología e ideas en las áreas de la Dark Web”, afirma el investigador de la Agencia Espacial especificando que “el trabajo que hacemos básicamente en el programa Memex consiste en construir un Google para la Dark Web. Se trata de un motor de búsqueda que nos permita saber qué hay ahí y que se actualice frecuentemente para coincidir con los cambios de URL [...] Eso existe”, sentencia.

Tanto Mattmann como la página oficial del DARPA destacan la utilidad de Memex para luchar contra el tráfico de armas, de drogas y, muy especialmente, el tráfico de seres humanos con fines de explotación sexual. No obstante, también ha flotado la incógnita en varios medios sobre el mantenimiento de la privacidad y el anonimato al navegar en la Deep Web, ya que en ella no solo se llevan a cabo actividades ilícitas.

La DARPA salió al paso de las posibles suspicacias en su página dedicada específicamente a Memex: “El programa no se encuentra interesado en los planes que se especifican a continuación: asignación de servicios anónimos, eliminación del anonimato, la atribución de una identidad a los servidores o direcciones IP o el acceso a información que no se haya hecho pública de forma intencionada”.

“Necesitamos saber cómo la NSA altera routers, conectores...”

Hasta donde ha podido averiguar este diario, pesos pesados en la lucha por la privacidad y las libertades en la Red como Mitch Kapor o John Gilmore no se han pronunciado aún de forma específica en este tema. Kapor, con más de tres décadas de experiencia en el sector de las tecnologías de la información, ha ejercido de programador, empresario e inversor. Su labor como activista incluye la fundación de Lotus Development Corporation, empresa en la cual diseñó el programa Lotus 1-2-3. Asimismo, es cofundador de la Electronic Frontier Foundation (EFF) una organización sin ánimo de lucro que lucha por las libertades civiles, en concreto por la libertad de expresión, y ha escrito artículos donde defiende el uso del software en código abierto como una muestra de la posibilidad de llevar a cabo grandes proyectos sin contar con un poder centralizado o acerca del dominio de grandes compañías sobre las formas de pensar, los valores y el ocio de las nuevas generaciones.

Gilmore, por su parte, además de ser uno de los cofundadores de EFF junto a Kapor, contribuyó a fundar los Cypherpunks, un “grupo informal” -como él mismo lo define en su sitio web- que tiene como misión la difusión y la educación de la ciudadanía en el mundo de la criptografía. A través de lo que presuntamente es su lista de correo alojada en Mail-Archive llegó a lanzar esta acusación sobre la NSA: “Necesitamos saber cómo la NSA y otras agencias están alterando routers, conectores, el backbone, las tecnologías de encriptación y los sistemas de almacenamiento en la Nube”.

Después del escándalo del espionaje masivo destapado por Edward Snowden, antiguo empleado de la NSA, la DARPA no solo se limitó a enunciar qué acciones evitaría que ejecutara Memex sino que también, según cuenta Bejerano, “aseguran que no trabajan para la agencia de espionaje [NSA]”. La revista Forbes, por su parte, afirmaba que hay “una multitud de socios de renombre trabajando en [...] Memex entre los que se incluyen la Universidad Carnegie Mellon, que aportó 3,6 millones de dólares para desarrollar la máquina encargada de procesar el algoritmo que analizará los anuncios relacionados con servicios sexuales” y, también, “Sotera Defense Solutions, el proveedor de tecnología para la seguridad nacional, que mencionó haber contribuido [...] con el navegador DataWake”.