La revolución del Big Data trasciende el plano tecnológico. Estar inmersos en un océano de datos significa también generar información a diario procedente de las más distintas fuentes y actividades.
Un entorno en el que la privacidad gana importancia por las constantes vulneraciones o usos que, aun siendo legales, no siempre se consideran éticos. A la par que se plantean cada vez mayores desafíos en protección de datos. [Read more…]
En este post veremos el enfoque y aplicaciones claves que aporta el machine learning como elemento distintivo, frente a un contexto general de inteligencia artificial que engloba ésta y otras áreas. [Read more…]
En el contexto de las smart cities, el universo de Big Data, IoT, M2M y otras tecnologías afines son un gran aliado para que aquellas se concreten en una realidad tangible. Es más, el concepto de ciudad inteligente no se concibe al margen de ellas, pues por diferentes que sean sus desarrollos, de un modo u otro será deudora de las mismas.
Las aplicaciones de geolocalización y aquellas otras que, sin ser específicas, incluyen la dimensión espacial, son cada vez más numerosas. No en vano, aún siendo heterogéneos, muchos de los datos generados el Big Data y el Internet de las Cosas –IoT– se caracterizan por su componente geográfico. En este artículo te contamos cómo llevar las aplicaciones de geolocalización al siguiente nivel.
Desde que surgieron las primeras formas de escritura hasta la actualidad, el ser humano ha tenido la necesidad de almacenar información, de manera que esta se ha ido volviendo cada vez más abundante y copiosa con el paso del tiempo.
La visualización es una de las formas más primitivas de comunicación conocidos por el hombre. Es por ello que la visión es la única facultad que una persona utiliza para comunicarse y compartir información. Hoy vamos a analizar diferentes usos de Dataviz para ayudar a las empresas a ser más eficientes.
El gran desafío que supone la revolución de Big Data plantea numerosos retos que resultan más fáciles de abordar gracias al desarrollo de las industrias vinculadas a las tecnologías de la información y las comunicaciones. Hoy queremos analizar la diferencia entre IoT y M2M.
Los términos Big Data y Data Science se asocian con los grandes volúmenes de datos que caracterizan la nueva era tecnológica. En particular, con la recogida, análisis y, como objetivo último, extracción de valor de esos datos para ayudar en la toma de decisiones.
Los nuevos tiempos están marcados por el signo de la era digital, la globalización y la ingente cantidad de datos generados a diario, el Big Data que viene aparejado a grandes desafíos y no menores oportunidades. [Read more…]
¿Por qué hacer tiles? Por una cuestión de eficiencia y rapidez. Crear tiles consiste en hacer una pirámide del mundo y renderizar las imágenes previamente. De esta forma nuestros mapas son más rápidos porque solo descargan imágenes que ya han sido renderizadas.
Los servicios WMS estaban bien hace años pero hoy en día las necesidades son diferentes, y hay soluciones mucho mejores para aplicaciones con gran cantidad de usuarios. Tienen su uso justificado, pero no es una solución para aplicaciones escalables.
Os cuento un poco nuestra experiencia:
Tileamos la ortofoto de Andalucía a un nivel de detalle considerable (Nivel 18). Para esto usamos gdal2tiles.py. El primer problema fueron los formatos de las ortofotos, para el año 1956 era un MrSID y tuvimos que luchar un poco con GDAL. El segundo problema, y mucho más difícil, fue crear el mosaico.
Esta disponible en Carto. Sevilla año 1956 – Sevilla año 1979
Lo conseguimos, quedo muy bien pero tardaba demasiado, concretamente 50 días. Era inaceptable por lo que nos pusimos manos a la obra para mejorar los tiempos y de paso tener algo que nos permitiera coger datos desde las fuentes de datos más comunes.
El objetivo era tilear los mapas de todas nuestras aplicaciones sin importar el formato en el que estuvieran los datos. Creamos Equidna – 100% OpenSource -, y con ella hemos generado cientos de mapas para diferentes clientes y hemos reducido bastante los tiempos debido a que usamos todos los procesadores de la máquina. La mejora fue sustancial, con gdal2tiles tardábamos 50 días con Equidna llegamos a 30.
Equidna está basado en Mapnik y permite hacer tiles con casi cualquier fuente de datos: PostGIS, Shapefiles, GeoJSONs, GDAL, raster, etc…
Ahora trabajamos en una mejora basada en BigData con un algoritmo de Map/Reduce (aunque no me guste utilizar el término “BigData” creo que se entiende mejor). Con este nuevo enfoque asignamos a cada máquina una región del mundo y los resultados los escribimos en un sistema de ficheros distribuido.
De esta forma, en una plataforma elástica cómo Amazon EC2 podemos lanzar N máquinas, de forma que si un proceso tarda 50 días, si lanzamos 50 máquinas tardará 1 día (aprox.) y nos costará lo mismo. El sistema base sobre el que estamos desarrollando esta plataforma es Spark.
En unos meses publicaremos los resultados, y por supuesto, será OpenSource.
¡Hasta pronto!
