La tecnología GIS ha revolucionado el mundo de la gestión de la información y se ha convertido en el aliado perfecto de las empresas de suministro. Eficiencia, rapidez, reducción de costes, entre otros, son los principales beneficios de su uso, de ahí que el GIS sea una tecnología con mucho futuro por delante. [Read more…]
En el contexto de la actual revolución tecnológica, la definición de “geoportal” va más allá de lo puramente cartográfico. Así pues, a la hora de definir el término que nos ocupa es clave trascender la mera etimología, sin olvidar contextualizarlo en la presente era digital, marcada por la revolución del conocimiento, el enfoque interactivo y la participación ciudadana. [Read more…]
Construir las ciudades inteligentes y sostenibles del mañana no es tarea fácil, qué duda cabe. Sin embargo, las recompensas bien valen la pena. Entre los retos más importantes que enfrentan los creadores de aplicaciones está la elección de entornos idóneos para el desarrollo e implementación en línea. Te contamos por qué usar FIWARE. [Read more…]
196 euros, eso era. 196 euros es lo que nos costó el primer alquiler de una oficina de Geographica. Me ilusionaba una barbaridad aunque olía raro y me daba algo de vergüenza que viniera nadie. [Read more…]
El Profesor Carlos Odriozola Lloret, del Departamento de Prehistoria y Arqueología de la Universidad de Sevilla, está llevando a cabo un proyecto pionero en Europa: APPE – Nuevas tecnologías espaciales aplicadas al estudio de la movilidad e intercambio.
Mediante trabajos de campo, novedosas técnicas de análisis científico y bibliografía, se están recopilando datos sobre los adornos personales encontrados en los yacimientos arqueológicos de la Península Ibérica (composición química, localización, etc.).
Extrayendo los patrones espacio-temporales de su distribución se van a analizar temas tan interesantes como: la evolución del comercio en el Mediterráneo, las redes de intercambio y la interacción social durante la Prehistoria Reciente en la Península Ibérica (10.000-1.200 a.C).
Desde el comienzo, el Profesor Carlos Odriozola Lloret ha valorado la importancia de una buena organización y armonización de sus datos, así como del uso de tecnologías espaciales que garanticen la calidad de los mismos y les permitan hacer análisis avanzados.
En Geographica colaboramos en este proyecto empleando tecnologías espaciales y aportando nuestras técnicas de análisis de datos para extraer el máximo potencial de los datos y conseguir información valiosa: en este momento se están analizando más de 10.000 yacimientos arqueológicos y más de 20.000 adornos y cuentas y la cifra seguirá creciendo.
En una primera fase hemos ordenado y normalizado los datos. Después, diseñamos un modelo relacional sobre una base de datos PostGIS sobre la que hemos procesado los datos, lo que nos permite hacer análisis espaciales, actualizar los datos de forma fácil y garantiza su coherencia. Por último cruzamos distintas tablas, obteniendo nueva información relevante para la investigación. Éstas tablas se actualizarán automáticamente conforme el estudio vaya evolucionando.
El proyecto todavía no ha concluido pero ya se han extraído algunos resultados interesantes, como aquellos relacionados con la variscita, un mineral de color verde que se utilizaba para fabricar adornos personales (cuentas de collares, etc.). Esta solo se podía extraer en algunos puntos de la Península como Zamora, Barcelona o Huelva.
Aplicando análisis espaciales y cronológicos a los datos, se observa la presencia de adornos de variscita en lugares lejanos a la fuente de extracción. Se ha concluido que, en ciertas etapas de la Prehistoria Reciente, se utilizaba como símbolo de poder, pues la persona que lo llevaba podía permitirse traer el material de un lugar lejano. Se trata de un elemento que nos ayuda medir las desigualdades sociales.
Geographica ha diseñado un visor web que muestra información sobre el proyecto y algunos datos de los yacimientos analizados. Se trata de una web muy sencilla y básica, ya que hemos podido dedicar menos tiempo de lo acostumbrado a la fase de desarrollo. Lo cierto es que la mayor parte del esfuerzo y el trabajo se ha destinado a la “parte interna” del proyecto, es decir, a construir en muy poco tiempo una base de datos sólida que sirva a los investigadores del Grupo ATLAS como herramienta de trabajo.
El futuro: seguir trabajando junto al Profesor Odriozola para mejorar las herramientas y obtener más resultados de los que extraer conocimiento valioso.
Sin duda el proyecto de investigación APPE tiene un gran potencial y combina las áreas que más nos entusiasman: temática apasionante, Data Science y últimas tecnologías espaciales.
Hace unos meses empezamos a trabajar oficialmente como Partners con el fantástico equipo de Carto. En la primera llamada de Carto nos definieron como “Hardcore GIS” y enamorados del diseño y la usabilidad. Genial, nos gusta vernos así.
Como cualquiera que se dedique al sector de las tecnologías espaciales, llevábamos un tiempo siguiendo de cerca su progresión y estrategia. Y hoy podemos decir que realmente es un gustazo poder dar servicios a nuestros clientes con productos como Carto. No sería justo hablar únicamente del producto; es gracias también a su potente equipo que hace que estamos acoplados desde el primer momento.
Cada éxito de Carto es celebrado casi como si fuera nuestro. Es el éxito del talento, de una manera de ver la vida, el mundo y la tecnología. Un éxito que nos beneficia a todos y por el que todos seguiremos luchando. http://economia.elpais.com/
Algunas personas nos preguntan si no somos competencia. ¡Claro que no! Somos complementarios, Carto es un excelente producto que usamos como punto de apoyo para muchos de nuestros desarrollos. Somos diseñadores e implementadores de soluciones Geoespaciales y usamos muchísimas tecnologías (Carto, Google Maps, MapBox, QGIS etc.).
Estas tecnologías son una bendición para gente como nosotros, nos permiten dar mejores soluciones, aunque nuestro trabajo sigue siendo infinito. Cada empresa, cada organismo necesita personalización, necesita ver mapas pero también entender el componente espacial para hacer Business Intelligence, Big Data, Machine Learning etc. Todo esto lo aportamos nosotros y lo mostramos mediante productos como Carto.
Ya hemos terminado nuestro primer proyecto conjunto (FIWARE) para Ogilvy y pronto podremos anunciar algunos realmente grandes que estamos haciendo ambas empresas de la mano.
¡Qué siga el espectáculo!
¿Por qué hacer tiles? Por una cuestión de eficiencia y rapidez. Crear tiles consiste en hacer una pirámide del mundo y renderizar las imágenes previamente. De esta forma nuestros mapas son más rápidos porque solo descargan imágenes que ya han sido renderizadas.
Los servicios WMS estaban bien hace años pero hoy en día las necesidades son diferentes, y hay soluciones mucho mejores para aplicaciones con gran cantidad de usuarios. Tienen su uso justificado, pero no es una solución para aplicaciones escalables.
Os cuento un poco nuestra experiencia:
Tileamos la ortofoto de Andalucía a un nivel de detalle considerable (Nivel 18). Para esto usamos gdal2tiles.py. El primer problema fueron los formatos de las ortofotos, para el año 1956 era un MrSID y tuvimos que luchar un poco con GDAL. El segundo problema, y mucho más difícil, fue crear el mosaico.
Esta disponible en Carto. Sevilla año 1956 – Sevilla año 1979
Lo conseguimos, quedo muy bien pero tardaba demasiado, concretamente 50 días. Era inaceptable por lo que nos pusimos manos a la obra para mejorar los tiempos y de paso tener algo que nos permitiera coger datos desde las fuentes de datos más comunes.
El objetivo era tilear los mapas de todas nuestras aplicaciones sin importar el formato en el que estuvieran los datos. Creamos Equidna – 100% OpenSource -, y con ella hemos generado cientos de mapas para diferentes clientes y hemos reducido bastante los tiempos debido a que usamos todos los procesadores de la máquina. La mejora fue sustancial, con gdal2tiles tardábamos 50 días con Equidna llegamos a 30.
Equidna está basado en Mapnik y permite hacer tiles con casi cualquier fuente de datos: PostGIS, Shapefiles, GeoJSONs, GDAL, raster, etc…
Ahora trabajamos en una mejora basada en BigData con un algoritmo de Map/Reduce (aunque no me guste utilizar el término “BigData” creo que se entiende mejor). Con este nuevo enfoque asignamos a cada máquina una región del mundo y los resultados los escribimos en un sistema de ficheros distribuido.
De esta forma, en una plataforma elástica cómo Amazon EC2 podemos lanzar N máquinas, de forma que si un proceso tarda 50 días, si lanzamos 50 máquinas tardará 1 día (aprox.) y nos costará lo mismo. El sistema base sobre el que estamos desarrollando esta plataforma es Spark.
En unos meses publicaremos los resultados, y por supuesto, será OpenSource.
¡Hasta pronto!
Seguimos evolucionando, esperamos que os guste.
1. Primera época 2007-2008.
¿Qué hacíamos? Visores en SVG y Flash. El escritorio estaba dominado por ArcGIS y SmallWorld. Aún nos encargaban mapas en papel.
Clientes: administraciones y empresas locales-regionales.
2. 2008- 2012. El Software Libre y el Diseño explotan dentro de Geographica. Elegimos PostGIS, QGIS, MapServer, R, GDAL. Hacemos visores en Java, en HTML5, usamos GM, OSM, OGC. Desarrollamos y subimos nuestras primeras App para iOS y Android. Terminamos nuestros primeros Cuadros de Mando Geográficos.
Clientes: administraciones, proyectos europeos, empresas privadas nacionales, organismos científicos y universitarios.
3. 2012-201?. Fase de expansión. Los datos ¡por fin! empiezan a ganar la batalla. Hacemos GIS y Data Science. Usamos Hadoop, Spark, Node.js, Python, SciPy, Maply, CartoDB, Mapbox, Docker, gscope. Una nueva, apasionante y divertida era.
Clientes: empresas privadas nacionales e internacionales, instituciones internacionales y nacionales, organismos científicos y universitarios.
¿Hacia dónde vamos? A hacer más cosas, con más gente, en más países. Queremos seguir trabajando y dando trabajo desde aquí y para el mundo. Podremos si seguimos cuidando lo más importante: el Equipo, que ha sido, es y será la clave de Geographica.
Estas últimas semanas he estado “exprimiendo” un poco más una de mis herramientas favoritas para análisis de datos: Matplotlib. Esta potente librería open source del ecosistema pythoniano, junto a otras como Numpy, Scipy, IPython, Pandas, Sympy, etc., es actualmente core package de las Scientific Computing Tools for Python, más conocidas como The Scipy Stack (http://www.scipy.org/).
A pesar de que llevo años trabajando con Matplotlib, indagar poco a poco en sus entrañas me va permitiendo conocer cada vez más su verdadero potencial.
Como geógrafo, no podía ser de otra manera que el toolkit de Matplotlib que más he usado es Basemap, con el que he pasado muchas horas ploteando resultados antes de integrarlos en un Sistema de Información Geográfica. Cabe destacar que la elevada robustez de Basemap se debe a que se sustenta sobre dos pesos pesados: PROJ4 y GEOS.
Basemap, aunque se encaja directamente encima de Matplotlib como un toolkit, es realmente una librería independiente desarrollada por Jeffrey S. Whitaker, un meteorólogo del Earth System Research Laboratory de la National Oceanic and Atmospheric Administration (NOAA).
Me gustaría recordar la importancia crucial que tiene Jeffrey S. Whitaker en el mundo del software geocientífico, ya que ha regalado a la comunidad otras valiosas “perlas” como el binding Python a la Librería C de NetCDF4 de UNIDATA o los bindings Python a las librerías más importantes de decodificación de ficheros GRIB (NOAA y ECMWF).
Un ejemplo de mis últimos escarceos con Basemap han quedado materializados en una pequeña librería que he construido sobre ella, y que he llamado daynight2geojson. El objetivo de esta pequeña aplicación es obtener la distribución espacial mundial de la noche para una fecha exacta que especifiquemos (que se asume que es UTC). Si no se especifica ninguna fecha, el programa calcula la cobertura nocturna para la fecha actual (UTC, claro está).
Una vez extraídos los datos, se procesan y almacenan en un fichero GeoJSON, que puede por supuesto ser cargado en cualquier cliente capaz de leer este formato (su simpleza hace que hoy día casi cualquier cliente geo lo consuma sin ningún problema).
Todo el procesado de las geometrías se realiza con ayuda de la librería Python para tratar con el formato GeoJSON y la librería para manipulación y análisis de objetos geométricos Shapely (que funciona sobre GEOS). El sistema de referencia de coordenadas (CRS) de la cobertura de salida es EPSG:4326.
Para el que quiera profundizar, todo el fundamento matemático sobre el que descansa el cálculo de la geometría mundial de la noche se encuentra en el módulo solar de Basemap: el cálculo de la GHA (Greenwich hour angle), la declinación solar, etc.
A continuación se muestran algunos ejemplos de cálculos realizados con la librería daynight2geojson para diferentes fechas:
Todo el código fuente está accesible en Github: https://github.com/GeographicaGS/daynight2geojson
El que tenga algo que aportar, corregir o discutir, lo puede hacer a través de la apertura de un nuevo issue o forkeándolo y lanzando un pull request.
¡Hasta la próxima!
Hombre, ¡por supuesto! Son el think tank de referencia de España, élite de análisis geopolíticos.
Igual podríamos ofrecerles hacer algo chulo con sus datos.
…
Ha pasado un año de esta conversación y hoy (en este preciso momento) está teniendo lugar en la sede del Instituto Elcano la presentación de la herramienta que tantos quebraderos de cabeza nos ha dado. Ha sido duro y enriquecedor a la vez, un equipo de trabajo de excelencia que sólo se conforma con resultados de excelencia.
El reto que planteamos hace un año fue idear una plataforma con la que poder analizar los datos del Índice Elcano de Presencia Global, uno de los “productos” de bandera del Instituto. Teníamos unos datos potentísimos y debíamos desarrollar una herramienta web de análisis complejos, mapas, gráficos avanzados… y todo con nuestra filosofía de base para cualquiera de nuestros desarrollos: que sea una solución sencilla, intuitiva y atractiva para conseguir una satisfactoria experiencia de uso.
El resultado ha sido una aplicación muy potente, en la que poder analizar y comparar datos de 70 países, con dimensión temporal y espacial. No es una herramienta ligera, es necesario saber lo que se está haciendo, comprender la dimensión del contenido con el que se trabaja, pero la experiencia es altamente satisfactoria, difícil ofrecer más. Para los entusiasmados de las listas y las clasificiaciones, ésta es su web de referencia.
Os dejamos algunas imágenes, aunque no hay mejor juez que un usuario: http://www.globalpresence.realinstitutoelcano.org/es/
Aquí dejamos también el post del instituto Elcano en su blog: http://www.blog.rielcano.org/nueva-web-de-presencia-global/
