martes, 12 de julio de 2011

Puntos Extras - Framework



MapReduce

MapReduce es un marco para el procesamiento de enormes conjuntos de datos en determinados tipos de problemas distribuibles utilizando un gran número de equipos (nodos), denominados colectivamente como un grupo (si todos los nodos utilizan el mismo hardware) o en forma de cuadrícula (si los nodos utilizan hardware diferente ). Procesamiento computacional puede ocurrir en los datos almacenados, ya sea en un sistema de archivos (no estructurados) o dentro de una base de datos (estructura).
"Mapa" paso: El nodo maestro toma la entrada, las particiones que en pequeñas sub-problemas, y distribuye a los nodos de los trabajadores. Un nodo trabajador puede hacer esto de nuevo, a su vez, conduce a una multi-nivel de árbol de la estructura. El nodo de procesos de trabajo que el problema más pequeño, y pasa a la respuesta de nuevo a su nodo principal.
"Reducir" paso: El nodo principal se lleva a las respuestas a todos los sub-problemas y las combina de alguna manera para obtener la salida - la respuesta al problema en su origen fue tratando de resolver.
La ventaja de MapReduce es que permite el procesamiento distribuido del mapa y las operaciones de reducción. Siempre que cada operación de asignación es independiente de los demás, todos los mapas se puede realizar en paralelo - aunque en la práctica se ve limitada por la fuente de datos y / o el número de CPU cerca de los datos. 


Hadoop

Hadoop consiste en la común Hadoop , que proporciona acceso a los sistemas de archivos con el apoyo de Hadoop. El paquete de Hadoop común contiene lo necesario JAR archivos y scripts necesarios para iniciar Hadoop. El paquete también proporciona el código fuente, documentación, y una sección de la contribución que incluye proyectos de la Comunidad Hadoop.
Para la programación efectiva de trabajo, cada sistema de archivos compatible con Hadoop debe proporcionar conocimiento de la ubicación: el nombre de la cremallera (más precisamente, del conmutador de red) en un nodo trabajador. 
Hadoop aplicaciones pueden utilizar esta información para ejecutar el trabajo en el nodo donde la información es, y, en su defecto, en el mismo rack / switch, por lo que la reducción del tráfico de red troncal. El Sistema de archivos distribuido Hadoop (HDFS) utiliza esto cuando la replicación de datos, para tratar de mantener diferentes copias de los datos en distintos bastidores. El objetivo es reducir el impacto de un corte de energía en rack o el fracaso interruptor de modo que incluso si se producen estos eventos, los datos todavía pueden ser legibles.


File:Hadoop 1.png

BigTable

BigTable es un motor de bases de datos creado por Google con las características de ser: distribuido, de alta eficiencia y propietario construído sobre GFS (Google File System), Chubby Lock Service, y algunos otros servicios y programas de Google.

Web Services

Un servicio Web es un método de comunicación entre dos dispositivos electrónicos en la red.
El W3C define un "servicio web" como "un sistema de software diseñado para apoyar la interoperabilidad de máquina a máquina de la interacción en una red. Cuenta con una interfaz descrita en un formato procesable por máquina (en concreto, Web Services Description Language WSDL ). Otros sistemas interactúan con el servicio Web en la forma prescrita por su descripción utilizando SOAP de mensajes, por lo general transmiten a través de HTTP con una serialización XML en conjunto con otras web relacionadas con las normas. " 
El W3C también dice, "Podemos identificar dos grandes clases de servicios Web, REST compatible con los servicios Web, en la que el principal objetivo del servicio es de manipular representaciones XML de recursos de la Web utilizando un conjunto uniforme de "apátridas" operaciones y arbitraria servicios Web, en la que el servicio puede exponer a un conjunto arbitrario de las operaciones. " 



File:Webservices.png



Referencias:
http://en.wikipedia.org/wiki/MapReduce
http://en.wikipedia.org/wiki/Apache_Hadoop
http://es.wikipedia.org/wiki/BigTable
http://en.wikipedia.org/wiki/Web_service

No hay comentarios:

Publicar un comentario