sábado, 21 de enero de 2017

La revolución en el tratamiento de la información en 2017


Se ha escrito muchas líneas sobre que este año recién comenzado va a producirse una autentica revolución en el tratamiento de la información. La penetración cada vez más intensa del Big Data en las empresas, la utilización del machine learning y la inteligencia artificial en la customer experience y la creación de factorías de elaboración de algoritmos a gran escala va a suponer un cambio de paradigma en el mercado tecnológico y su relación con las empresas.

Uno de las conclusiones claras de todos estos cambios es que la tecnología esta yendo más rápida que nosotros mismos. Y donde este terremoto tecnológico se hace más evidente es el mundo del tratamiento de la información. Cada vez salen más herramientas y componentes que abren nuevas posibilidades para sacar valor y conocimiento a la información. Muchas de estas tecnologías están asociadas al  denominado Big Data, pero yo , al igual que Eduardo Valencia, autor del interesante libro Data Coaching, considero necesario hablar ya de tecnologías de tratamiento de datos en general y dejar atrás el término BIG de Big Data. ¿Y qué nuevas oportunidades abren estas nuevas tecnologías? Voy a contar algunas de las que me parecen más interesantes:


  • El dato como elemento central de las decisiones de las compañías. Cada vez existen más proyectos de data driven company. En estas compañías se implementa la democratización de la información, la analítica avanzada y el autoservicio de  la información para la ayuda en la toma de decisiones. En estos proyectos el gobierno del dato, el cambio cultural , la aparición de nuevos roles orientados a los datos, el establecimiento de métricas y metodologías para que los datos fluyan a través de las diferentes áreas resultan elementos claves. 

  • Análisis facial, gestual y de sentimientos a través de técnicas de deep learning para anticipar comportamientos en las personas y determinar perfiles más exactos, utilizando sus huellas digitales. Sus aplicaciones en el mundo empresarial son cada vez más demandadas, ya que permiten conocer mejor a sus clientes, al mercado y los competencias. Muy interesante el proyecto Open Face https://cmusatyalab.github.io/openface/  una aplicación Python y Torch de reconocimiento facial con redes neuronales basada en el CVPR 2015. Ejemplos interesantes de esta tecnologías aplicadas al mundo retail los podemos ver en este vídeo: https://www.youtube.com/watch?v=XJfN_PQMvUc 

  •  Nuevas formas de visualización de los datos  provenientes del Big Data. Integración de la realidad virtual en las capas de visualización, visualización en tiempo real o visualización de eventos complejos. La creatividad en la visualización de los datos permite analizar en una sola pantalla  correlaciones impensables en los mismos con las tecnologías tradicionales, En el siguiente artículo podemos ver como la VR revoluciona el Data Visualization: http://www.forbes.com/sites/bernardmarr/2016/05/04/how-vr-will-revolutionize-big-data-visualizations/#705946bf4ac5  La idea no es nueva, VR ha estado alrededor de la explotación de los datos pero resultaba una herramienta costosa. Hace varios años, los ingenieros de Goodyear trabajaron con el pionero de la VR, el Dr. Robert Maples, para desarrollar una simulación completa de sus neumáticos de competición basada en su conjunto de datos históricos. La simulación permitió que los efectos de cada pequeño cambio variable en el rendimiento del neumático fuera modelado y visualizado en tiempo real VR. El objetivo de la simulación era encontrar la respuesta a la pregunta 'por qué estaban perdiendo carreras' y la visualización les permitió encontrar sus respuestas en cinco minutos. Este es un gran ejemplo del aumento en el ancho de banda de los datos que conduce a ideas mucho más rápidas.
  • Uso del dark data. Las compañías comenzarán a troll la abundancia de información que está contenida en documentos en papel, fotos, videos y otros activos corporativos que están durmiendo en bóvedas y armarios de almacenamiento, pero que podrían ser utilizados en gran agregación de datos. Estos activos pueden ofrecer a las organizaciones una visión más completa de las tendencias históricas de rendimiento y ciclos de productos que pueden ser útiles para la planificación. Los datos también pueden proporcionar evidencia de apoyo para infracción de marca registrada y / o reclamaciones de violación de propiedad intelectual.

  • Uso de la inteligencia artificial En casos como la creación de precios dinámicos: los algoritmos permiten la automatización del precio basado en la demanda Impulsado por las aplicaciones informáticas y analíticas de alto rendimiento, el precio dinámico permite a los minoristas poner precio a los artículos en un momento determinado según la capacidad percibida de un cliente en particular y la voluntad de pago.Los precios en algunos sitios web y aplicaciones cambian ahora minuto a minuto. Por ejemplo, Uber introdujo su algoritmo de pricing para permitir que los precios aumenten automáticamente en momentos de máxima demanda. En los últimos años se ha incrementado enormemente el volumen de datos del consumidor del que disponen los responsables de marketing. Estos permiten a las marcas detectar rápidamente tendencias y reaccionar introduciéndolos en su marketing y su relación con consumidor.  Según crece la cantidad de datos, el aprendizaje automático irá agilizando paulatinamente el proceso, siendo capaz de asimilar la información de una gran variedad de fuentes e identificando rápidamente patrones de comportamiento.El uso de AI en el análisis de tendencias ayudará a los responsables de marketing a estar siempre un paso por delante tanto en tendencia como en competencia. Los especialistas en contenido serán capaces de crear un conjunto de mensajes que puedan ser rápidamente entregados a los consumidores, de acuerdo con las tendencias de mercado.Los equipos de desarrollo de productos también estarán mejor equipados para mantenerse al tanto de las necesidades de creadas por las últimas tendencias.

Estamos viviendo tiempos muy interesantes. Con tantos datos, económicos y accesibles, es difícil saber qué va a pasar.  Sin embargo, lo que sí sabemos es que estamos empezando a hacer posible lo imposible y tendrá una profunda trascendencia.
Viene un tren de cambios a toda velocidad, ante el que no debemos quedarnos quietos para que nos atropelle sino subirnos a él. ¿Quién sabe dónde estaremos dentro de 10 años? ¿Quien sabe que vendrá  nuevo en el próximo?



domingo, 8 de enero de 2017

2017: La batalla sobre el procesamiento de datos en Streaming

Hacía mucho tiempo que no escribía en el blog...En todo este tiempo me han pasado muchas cosas y también ha habido grandes cambios en tecnología. El Big Data por fin resulta una realidad, he podido experimentar y disfrutar de grandes proyectos e implementaciones sobre esta tecnología y esto solo acaba de empezar. Donde ahora predomina el procesamiento bacth , este año la estrella será el procesamiento en streaming. Donde antes me pedían batch y procesamiento veloz de grandes cantidades de datos cada vez recibiré más peticiones de procesamiento en tiempo real. Las empresas ya comienzan a estar preparadas para ello. Este hecho supone una nueva revolución(otra más) dentro del mundo del Big Data. Echemos un vistazo al panorama que se nos avecina.
La demanda de procesamiento de datos de forma cada vez más rápida ha ido en aumento y el procesamiento de datos en tiempo real en streaming parece ser la respuesta. Mientras que Apache Spark se sigue utilizando en muchas organizaciones para el procesamiento de datos en Big Data, otras alternativas como Apache Flink, Apache Apex o Apache Samza vienen empujando muy fuerte. De hecho, muchos piensan que Apache Flink tiene todo el potencial de reemplazar a Apache Spark debido a su capacidad de procesar datos en tiempo real. Por supuesto, la opinión sobre si Flink puede reemplazar a Spark todavía resulta algo ligera debido a que Flink aún tiene pocas puestas en producción de gran envergadura. Pero el procesamiento en tiempo real y la baja latencia de datos son dos de sus características más atractivas. Al mismo tiempo, se debe considerar que Apache Spark probablemente no perderá a corto plazo su posición porque sus capacidades de procesamiento batch siguen siendo relevantes.

Hay que tener en cuenta que aparte de todas las ventajas del procesamiento por lotes, un procesamiento en streaming que tiene baja latencia de datos aporta más información sobre datos rápidamente. Por lo tanto, ofrece la posibilidad de averiguar qué está pasando en tiempo real. Además de un procesamiento más rápido, también hay otro beneficio significativo: se dispone de más tiempo para diseñar una respuesta apropiada a los eventos. Por ejemplo, en el caso de detección de anomalías, una menor latencia y una detección más rápida permite identificar la mejor respuesta que es clave para evitar daños en casos como ataques web, daños en infraestructura o equipos industriales, respuesta ante peticiones de clientes. Por lo tanto, puede evitar pérdidas sustanciales.

Un vistazo a las alternativas

Apache Flink es una herramienta de procesamiento de datos que permite el procesamiento de grandes volúmenes de datos rápidamente con baja latencia de datos y alta tolerancia a fallos en sistemas distribuidos a gran escala. Su característica definitoria es su capacidad de procesar datos en tiempo real.

Apache Flink comenzó como un proyecto académico de código abierto, llamado entonces Stratosphere. Más tarde, se convirtió en un incubator  de Apache Software Foundation. Para evitar conflictos de nombre con otro proyecto, el nombre cambió a Flink.

Desde que fue agregado a la Fundación de Software Apache, tuvo un aumento bastante rápido como una herramienta de procesamiento de datos y en 8 meses, había comenzado a captar la atención de un público más amplio.

Apache Apex  posibilita procesar grandes cantidades de datos in-motion a través de unica plataforma altamente escalable,  fácilmente operable, de alto rendimiento, de baja latencia y tolerante a fallos con garantía de procesamiento correcto. Una plataforma nativa de Hadoop YARN de nivel empresarial, Apache Apex con su arquitectura de procesamiento de flujo unificado puede utilizarse para casos de uso en tiempo real y de procesamiento batch. También proporciona una API sencilla que permite a los usuarios escribir o reutilizar código Java genérico para configurar aplicaciones de datos grandes

Comparación entre Spark y Flink

Procesamiento de datos

Spark procesa los datos en modo batch mientras que Flink procesa los datos en tiempo real. Spark procesa fragmentos de datos, conocidos como RDD, mientras que Flink puede procesar filas tras filas de datos en tiempo real. Por lo tanto, aunque una latencia de datos mínima siempre está allí con Spark, no es así con Flink.

Iteraciones

Spark admite iteraciones de datos en lotes, pero Flink puede iterar sus datos de forma nativa usando su arquitectura streaming.

Comparación con APEX

Apex es una plataforma YARN, lo que significa que está vinculado a Hadoop (Flink y Spark por ejemplo no). Su base es  la biblioteca Apache Malhar que le ofrece bloques de construcción (operadores) para el procesamiento de flujo. Basta con derivar su clase de su operador (por ejemplo, el operador AbstractFileInputOperator) e implementar las clases que necesita

En resumen, se avecina un año apasionante siguiendo de cerca la evolución de estas herramientas, si tenemos en cuenta además el crecimiento del machine laerning en streaming, los cambios tecnológicos que se avecinan resultan apasionantes

martes, 27 de enero de 2015

Apache Spark, el nuevo protagonista de Big Data

Apache Spark es un framework de código abierto, de procesamiento  de datos e paralelo que complementa Hadoop para hacer más fácil el desarrollo de aplicaciones Big Data unificadas que combinan procesamientos batch, streaming, y análisis interactivos de todos sus datos.

Spark ofrece tal potencia que para analistas y científicos de datos que se basan en algoritmos iterativos (por ejemplo, la agrupación / clasificación), Spark es 10-100 veces más rápido que MapReduce en entrega de datos lo que posibilita amplias posibilidades en las tomas de decisiones de negocio.

Spark es:
  • Muy Veloz: Procesamiento de datos hasta 100 veces más rápido que MapReduce, tanto-en la memoria y en el disco
  • Potente: escribir aplicaciones paralelas sofisticados rápidamente en Java, Scala, o Python sin tener que pensar en términos de sólo "mapa" y "reducir" los operadores
  • Integrado: Spark está profundamente integrado con  CDH (Distribución Haddop de Cloudera), capaz de leer todos los datos en HDFS y desplegar a través de Cloudera , procesos en tiempo real.
Mediante el centro de datos empresarial de Cloudera incluyendo Spark, se puede implementar flujos de trabajo y  analíticas poderosas de extremo a extremo, que comprenden el procesamiento de los datos batch, consulta interactiva, minería de datos en profundidad, y aplicaciones en tiempo real desde una única plataforma común. No es necesario mantener sistemas separados - con datos separados, metadatos, seguridad, gestión - que conducen rápidamente a la complejidad y a costes elevados.

Un esquema de la arquitectura de Spark , lo podemos ver en la siguiente imagen:


Spark está escrito en Scala por lo que antes de instalar Spark , hay que instalar Scala. Una guía de instalación de Spark la podemos encontrar aquí http://java.dzone.com/articles/apache-spark-fast-big-data

Además posee wrappers para Python y Java.

Se trata además de un proyecto muy activo y con un número de contribuidores en continuo crecimiento.

Finalmente reseñar que existe amplia documentación para su aprendizaje totalmente gratuita.




viernes, 14 de noviembre de 2014

Infografía del Big Data para el 2015

En la siguiente entrada os presento la siguiente infografía sobre el Big Data en el 2015, recogida de la página del centro de Innovación del BBVA : https://www.centrodeinnovacionbbva.com/infografia/big-data-es-hora-de-generar-valor-de-negocio-con-los-datos y la idea de generar valor de negocio en la información disponible actualmente en las empresas.Recordad que según el IDC existe una oportunidad US$ 1.6 trillones en ingresos a lo largo de los próximos cuatro años,relacionada con este sector. (Fuente: http://gestion.pe/tecnologia/big-data-nueva-moneda-mundo-negocios-2110577) hay que aprovecharla!!


jueves, 11 de septiembre de 2014

Open Stack: Plataforma de Cloud Computing Software Libre

En esta nueva entrada, de acuerdo a la filosofía de este blog de apoyo al software libre, vamos a hablar de un plataforma de Cloud Computing  open source: Open Stack como vamos a describir, esta plataforma ofrece funcionalidades de cloud computing muy interesantes.

En primer lugar describimos esta solución:  se trata de una plataforma en software libre para cloud computing que proporciona una infraestructura como servicio (IaaS), cumpliendo con las necesidades de los proveedores de nubes públicas y privadas, independientemente de su tamaño, siendo bastante fácil de implementar y muy escalable.
Este proyecto está distribuido bajo los términos de la licencia Apache. El proyecto está gestionado por la Fundación OpenStack, una persona jurídica sin fines de lucro creada en septiembre de 2012 para promover el software OpenStack y su comunidad.
Más de 200 empresas se unieron al proyecto entre las que destacan AMD, Brocade Communications Systems, Canonical, Cisco, Dell, Ericsson, Groupe Bull, HP,IBM, InkTank, Intel, NEC, Rackspace Hosting, Red Hat, SUSE Linux, VMware y Yahoo!.

La tecnología consiste en una serie de proyectos relacionados entre sí que controlan pools de control de procesamiento, almacenamiento y recursos de red a través de un centro de datos, todos administrados a través de un panel de control que permite a los administradores controlar mientras potencia a sus usuarios proveyendo los recursos a través de una interfaz web.

Características de Open Stack
  • Los módulos tienen muchas características comunes para poder integrarse fácilmente.
  • Están desarrollados en Python
  • Algunos de ellos utilizan AMQP para el intercambio de mensajes
  • Incluyen una API RESTful para la comunicación entre componentes o externa (p. ej. clientes)
  • Autenticación basada en tokens gestionada a través del componente Keystone
  • Base de datos propia e independiente


Componentes de Open Stack
OpenStack tiene una arquitectura modular con varios nombres para sus componentes:
OPENSTACK IDENTITY SERVICE (KEYSTONE)
  • Directorio centralizado que almacena información de:
  • Usuarios
  • Proyectos (tenants)
  • Roles
  • Servicios y sus endpoints
  • Información almacenada en SGBDR o LDAP
  • Primer componente a instalar

OPENSTACK IMAGE SERVICE (GLANCE)
·         Gestiona las plantillas de imágenes de los sistemas
·         Gestiona las instantáneas de las instancias
·         Puede utilizar diversos formatos:
    • raw
    • qcow2 (Qemu/KVM)
    • vhd (Hyper-V)
    • ami (Amazon)
    • vdi (VirtualBox)
    • vmdk (VMware)
OPENSTACK COMPUTE (NOVA)

·         Componente principal de OpenStack
·         Gestiona las instancias de imágenes, dónde deben ejecutarse y el acceso mediante consola
·         Soporta diferentes hipervisores (recomendados KVM o Xen):
·         KVM/QEMU
·         Xen
·         Hyper-V
·         VMware ESXi
·         LXC
·         Docker
·         Permite incluso el aprovisionamiento de máquinas físicas mediante Baremetal/Ironic

OPENSTACK OBJECT STORAGE (SWIFT)

·         Sistema de almacenamiento redundante y escalable
·         El almacenamiento de objetos permite el almacenamiento masivo de datos no estructurados de forma bastante económica
·         Hoy en día ampliamente utilizado por aplicaciones web
·         Swift incluye su propia API y otra compatible con Amazon S3
·         Normalmente es utilizado por Glance para almacenar imágenes
·         Es independiente del resto de componentes

OPENSTACK BLOCK STORAGE (CINDER)

·         Los volúmenes son dispositivos de bloques que se crean de forma independiente de la instancia y pueden asociarse y desasociarse de ella cuando se precise
·         Cinder es equivalente al componente Amazon EBS
·         Los volúmenes se crean en el nodo de almacenamiento (por defecto con LVM) y se conectan a la instancia que se desee mediante algún protocolo de redes de almacenamiento (iSCSI es el más utilizado)
·         Cinder incluye controladores para gran cantidad de dispositivos de almacenamiento del mercado
·         Cuando nova termina una instancia borra todo el almacenamiento local asociado a ella, pero no los volúmenes, por lo que estos reciben el nombre de almacenamiento permanente.
·         Podemos pensar en los volúmenes como discos externos que se conectan o desconectan de las instancias, aunque se trate de un mecanismo completamente diferente

OPENSTACK NETWORKING (NEUTRON)
·         Componente encargado de la configuración de redes virtuales
·         El nombre original de neutron era quantum, pero se tuvo que cambiar por problemas de copyright
·         Neutron incluye un buen número de complementos: OpenvSwitch, Cisco, Nicira, etc.
·         Neutron gestiona múltiples redes de forma independiente gracias al uso de linux network namespaces que permite que múltiples routers virtuales compartan un dispositivo de red físico
·         Neutron también se encarga de la gestión de los grupos de seguridad y de las IPs flotantes

OPENSTACK DASHBOARD (HORIZON)
·         Panel de control web de OpenStack desarrollado en Django

·         No incluye toda la funcionalidad de la API de cada componente, pero sí los métodos más utilizados.



domingo, 1 de junio de 2014

Principales Tecnologias de Big Data II

En el anterior artículo mencionábamos, dentro de la tecnologías clave en el BIG DATA, las bases de datos NoSQL. Las bases de datos NoSQL son sistemas de almacenamiento de información que no cumplen con el esquema entidad-relación al que todos nos acostumbramos desde las primeras asignaturas de bases de datos en las carreras de informática. Mientras que las tradicionales bases de datos relacionales basan su funcionamiento en tablas, joins y transacciones ACID, las bases de datos NoSQL no imponen una estructura de datos en forma de tablas y relaciones entre ellas (no imponen un esquema pre-fijado de tablas), en ese sentido son más flexibles, ya que suelen permitir almacenar información en otros formatos como clave-valor (similar a tablas Hash), Mapeo de Columnas, Documentos o Grafos.

A día de hoy existen unos 150 sistemas de bases de datos NoSQL. Elegir uno de ellos puede ser muy difícil, ya que ninguno ha obtenido todavía la fama que sí han conseguido las bases de datos relacionales.

Existen diferentes formas para clasificar las bases de datos NoSQL, pero nosotros vamos a basarnos  en su orientación al uso: orientadas a documentos,   orientadas a columnas,  de clave-valor y en grafo. 

Orientadas a documentos
Son aquellas que gestionan datos semi estructurados. Es decir documentos. Estos datos son almacenados en algún formato estándar como puede ser XML, JSON o BSON. Dentro de las bases de datos NoSQL orientadas a documentos destaca MongoDB.

MongoDB
MongoDB es un sistema de base de datos multiplataforma orientado a documentos, de esquema libre. Como ya os expliqué, esto significa que cada entrada o registro puede tener un esquema de datos diferente, con atributos o “columnas” que no tienen por qué repetirse de un registro a otro. Está escrito en C++, lo que le confiere cierta cercanía a los recursos de hardware de la máquina, de modo que es bastante rápido a la hora de ejecutar sus tareas. Además, está licenciado como GNUAGPL 3.0, de modo que se trata de un software de licencia libre. Funciona en sistemas operativos Windows, Linux, OS X y Solaris.
MongoDB se basa en el principio de almacenar los datos en una estructura tipo llave-valor; MongoDB por su lado se enfoca específicamente en que los valores de estas llaves (llamadas colecciones) son estructuras tipo JSON (llamados documentos), es decir objetos Javascript, lenguaje sobre el cual se basa esta solución de base de datos. Esto facilitará su manipulación a muchos que ya conozcan el lenguaje.
MongoDB posee varias estrategias de manejo de datos que la han posicionado donde se encuentra hoy en día, tales como sus procesos de división de datos en distintos equipos físicos o también conocido como clusterización, también el caso similar de documentos muy grandes que superen el límite estipulado de 16MB se aplica una estrategia llamada GridFS que automáticamente divide el documento en pedazos y los almacena por separado, al recuperar el documento el driver se encarga de armar automáticamente el documento nuevamente.
Usos MongoDB
§  Aplicaciones que almacenan grandes cantidades de datos o datos complejos.
§  Por ejemplo para aplicaciones con estructuras complejas como blogs (post, comentarios, rollbacks,etc) o aplicaciones de analítica (Google analytics).
Características de MongoDB:
§  Ausencia de transacciones · Esto le permite a MongoDB ser más rápida y escalable a nivel horizontal.
§  Escalabilidad horizontal  En sistemas tradicionales RDBMS, para mejorar el rendimiento de la base de datos se adquiría una máquina más potente (escalado vertical). En MongoDB funciona mejor el escalado horizontal (incrementar número de máquinas)
§  Almacenamiento Orientado a documentos (BSON)  JSON es más que una gran forma de intercambiar información, es también una excelente forma de almacenarla. MongoDB almacena todo un registro en un mismo documento. · No hay necesidad de especificar estructura alguna y sus documentos pueden cambiarse individualmente. · MongoDB usa BSON (Binary-JSON),un formato abierto basado en JSON que permite manejar datos binarios, · Con el uso de BSON MongoDB es muy rápida en la búsqueda, indexación, almacenamiento y recuperación de la información  BSON es fácil y rápidamente transformable en cualquier tipo de dato nativo de cualquier lenguaje de programación.
§  Soporte a Querys dinámicas · Como en las bases de datos tradicionales, MongoDB también acepta la ejecución de queries dinámicas (a diferencia de otras como CouchDB)
§  Indexación de Documentos · Todos los documentos son automáticamente indexados con una clave llamada _id. · Esta clave nos asegura que cada documento es único, · MongoDB permite indexar documentos embebidos (se puede crear un índice en un código postal)
§  Indices Geoespaciales  Permite la indexación de la información basado en la localización. · Permite crear consultas del tipo: “cuantos artículos se encuentran a cierta distancia de un determinado conjunto de coordenadas”,
§  Analisis de Rendimiento de Queries  MongoDB provee una herramienta para el análisis de consultas que permite determinar el rendimiento de nuestras consultas o conocer posibles defectos en su estructura o simplemente mejorar el tiempo de respuesta de las mismas.
§  Replicación de Datos · MongoDB provee mecanismo llamado replicación maestro-esclavo, con lo que solo una base de datos está activa para escritura en un momento dado. · Todas las peticiones de escritura se realizan en la base de datos maestra y esta las pasa a la réplica (esclavo). · Si la bd principal falla la esclava ocupa su lugar. · MongoDB implementa el concepto de réplica a pares de modo que cuando falla se determina cuál de las 2 bases de datos (maestro-esclavo) es la que tomará el control para continuar prestando el servicio.

viernes, 23 de mayo de 2014

Principales Tecnologias de Big Data I

BIG DATA ya no es una promesa o una tendencia BIG DATA está aquí  y está provocando cambios profundos en diversas industrias.El análisis de todos los datos disponibles está creando un elemento de disrupción, es necesario tener en cuenta que el análisis de grandes volúmenes de datos , de diversas fuentes a gran velocidad y con una enorme flexibilidad puede ser un valor fundamental y diferenciador.

Se dice que el concepto de BIG DATA se basa en las cinco V que es necesario conocer:

  • Volumen:  se procesan grandes volúmenes de datos donde se convierte en un reto el capturar, almacenar y procesar la información.
  • Variedad:  todo tipo de datos estructurados y no estructurados (imágenes, videos, música, por ejemplo) obtenidos desde muy diversas fuentes.
  • Velocidad: Alta velocidad para procesar los datos, considerando además el volumen de información que se genera en redes sociales y demás plataformas digitales.
  • Veracidad: determinar la validez y calidad de los datos para determinar lo que sirve para establecer una estrategia.
  • Valor: Es fundamental tener acceso a grandes volúmenes de datos, pero a menos que podamos convertirlo en valor resulta inútil. Así que usted puede discutir con seguridad que el "valor" es la más importante V de Big Data. Es tan fácil caer en la trampa de moda y embarcarse en iniciativas de datos grandes y sin una comprensión clara de los costos y beneficios. que se olvida que hay que buscar el valor que se genera con los datos para el consumidor final, mediante el  diseño y desarrollo tanto de estrategias de comunicación personalizadas como de productos que cubran las necesidades básicas del target.

Respecto a las tecnologías que se utilizan en el mundo BIG DATA existen una serie de términos con los que nos empezamos a familiarizar y que pasamos a describir a continuación:
  • Bases de Datos NoSQL : ( acrónimo de Not Only SQL)  donde podemos destacar:
    • MongoDB: www.mongodb.org/ Orientada a documentos JSON, madura base de datos NoSQL ampliamente adoptada por la comunidad de usuarios de Big Data.
    • Apache Cassandra : http://cassandra.apache.org/  Base de datos NoSQL creada por Facebook. Un matrimonio exitoso entre Google BigTable y Amazon Dynam 
    • Neo4j Graph Database:  http://www.neo4j.org/  Base de datos de grafos lista para ser implantada en soluciones empresariales y con un maduro ecosistema.
  • Apache Hadoop Implementación open-source de MapReduce, un paradigma para desarrollar programas de procesamiento de datos masivos en modo batch.
  • Apache Hive es un data warehouse construida en la base de Hadoop a fin de proporcionar resumenes de datos, consultas y análisis. Aunque inicialmente desarrollado por Facebook, Apache Hive está utilizado y desarrollado por otras empresas como Netflix.  Hive también se incluye en “Amazon Elastic MapReduce” en Amazon Web Services.
  • Apache Pig es una plataforma para el análisis de grandes conjuntos de datos que consta de un lenguaje de alto nivel para expresar programas de análisis, junto con la infraestructura para la evaluación de los mismos. La característica sobresaliente de los programas de Pig es que su estructura es susceptible a la paralelización, lo que a su vez le permite manejar enormes cantidades de información.
En los siguientes artículos profundizaremos más sobre cada una de estas herramientas.