Archivo para la categoría ‘Sistemas

Thumbr.it es sin lugar a dudas uno de los proyectos más interesantes de los que he tenido noticia este último año, lo reune todo (una buena idea y gente con gran talento para darle forma).

Cuando le pedimos que nos defina el proyecto en menos de diez palabras lo tiene claro: “es ImageMagick en la nube”. Con este proyecto pretende darle un vuelco a la forma tradicional de trabajar con las imágenes en la web. Hoy día cualquier proyecto medio / grande que quiere servir fotos divide el trabajo en 3 partes:

1. Recibir la imagen en sí sobre la que trabajaremos, muchas veces subida por usuarios. Esto conlleva almacenar las imágenes, guardar copias de seguridad, etc.

2. Trasformar esta imagen para adaptarla a la web. Como mínimo deberemos redimensionarla y recortarla. Si la web es grande también deberemos asegurarnos de que la imagen no contiene ningún virus, y sobre todo desde el éxito de Instagram podemos querer ajustar los colores, ponerle un marco, …

3. Servir la imagen resultado. Aquí la dificultad reside en hacerlo muy rápido, típicamente usando un CDN que va a cachear nuestras imágenes en servidores de todo el mundo para que un usuario en France pueda descargar la imagen desde un servidor en Francia y uno de Brasil lo haga desde un servidor en Brasil. Servir la imagen desde un servidor demasiado alejado al usuario puede suponerle un retraso de 1 segundo extra por imagen (letal para una página con decenas o cientos de imágenes pequeñitas).

La opción más popular para resolver el problema número 1 es, cuando tu tamaño desborda lo que te cabe en un servidor, guardar las imágenes en Amazon S3. Otra opción también popular para los que tienen menos recursos es montar una pequeña cluster de servidores y correr algunos de los programas Open Source que nos permiten tener algo como Amazon S3 con nuestros servidores. Algunas opciones son MogileFS, Ceph. El inconveniente es que si nuestro centro de datos se viene abajo por cualquier problema técnico (algo que suele pasar cada 2 o 3 años) no tendremos acceso a las imágenes, un supuesto que es mucho más dificil que ocurra con Amazon S3.

Para resolver el problema número 3 podemos contratar un CDN, los más populares (y caros!) son probablemente Akamai y Level3. Hay otros mucho más económicos, como CloudFlare, pero tienen menos nodos de salida. En un punto intermedio se situa Amazon CloudFront.

Sin embargo para el punto 2 de los 3 que he enumerado no había hasta ahora una buena solución. Podíamos, como siempre, hacerlo nosotros a mano, pero implica que tenemos que programar todo el código que manipula una imagen (recortar es fácil, ajustar el contraste, luminosidad, saturación, cambios de colores, etc. es más dificil), tenemos que provisionar un número de servidores para hacer estas operaciones, asegurarnos de no transmitir los virus que pueda existir en la imagen original. Además hay decenas que pequeños errores que solemos cometer que va a hacer que nuestro código falle: gestión de la orientación en las etiquetas EXIF para los JPEG, imágenes con mapas de color raros o directamente rotos, respetar la transparencia de la imagen original, etc.

Thumbr.it viene a cubrir este hueco, y según nos ha contado Joaquín sus planes son extenderlo para cubrir también los otros dos puntos que hemos enumerado, para que los usuarios tengan una solución completa toda en uno. La forma que tiene Thumbr.it de transformar una imagen es bastante ingeniosa, basta con que el administrador de la web cambie los enlaces de las mismas. Suponed que tenéis una imagen en la URL:

http://midominio.com/mifoto.jpg

Y queréis servir esta foto pero con un ancho y un alto máximos de 400, y en formato PNG, basta con que en vuestro HTML pongáis:

http://api.thumbr.it/XXX/YYY/midominio.com/mifoto.jpg/400x400/mithumbnail.png

Las XXX e YYY dependen de vuestro usuario, y es un código que valida quien hace la petición. El resto es fácil de entender, la imagen se va a servir desde el dominio api.thumbr.it, los servidores de Thumbr.it al ver la URL que le pide el usuario se bajarán la imagen que está en la URL http://midominio.com/mifoto.jpg, le cambiarán el tamaño a 400×400 de máximo, y la servirán en formato png. Los servidores de Thumbr.it van a cachear la imagen resultado durante un mes, con lo que en la práctica las imágenes se sirven sin ningún retraso. Solo notaremos un pequeño retraso la primera vez que se genera la imagen, que nosotros hemos medido en unos 200 milisegundos.

Una duda que nosotros teníamos es como puede afectar al SEO el transformar la URL de esta forma. Joaquín es conocido por haberle vendido su anterior proyecto (Panoramio) a Google, y como imaginábamos había tenido en cuenta este problema. La extensión del nombre del fichero que le damos a la imagen en Thumbr.it se usa para extraer el formato de salida de la imagen, pero el nombre en sí es completamente libre, con lo que podemos usar un nombre descriptivo para ayudar a los buscadores a indexar esa imagen. El dominio desde el que se sirve la imagen también es personalizable.

Como cereza sobre el pastel, Thumbr.it además de transformar imágenes también acepta documentos Word y PDF. En estos casos la imagen de salida será una reproducción de la primera página del documento. Joaquín nos ha comentado que tiene planeado implementar también HTML como entrada, lo que nos permitiría poner pantallazos de páginas web. Además quiere añadir más opciones, por ejemplo para poder elegir la página que queremos ver dentro de un Word / PDF, lo que sería ideal para crear un visualizador completo de Word y PDF (si añadiese PPT podríamos hacer nuestro propio Slideshare, jeje).

Yo estoy probando Thumbr.it en Resultados de Fútbol y grandes proyectos como Freepik (el mayor y más popular buscador de recursos gratuitos para diseñadores). Hace un par de semanas Thumbr.it estaba sirviendo 2.5 millones de fotos al día, y ahora está ya en más de 3 millones de fotos al día!

A qué esperas para darte de alta y probarlo!

Hace mucho tiempo que quería hablar sobre los discos de estado sólido (Discos SSD), acrónimo en inglés de solid-state drive, es obviamente un dispositivo de almacenamiento de datos que usa memoria no volatil (flash) o memoria volátil (SDRAM) para almacenar los datos, en contrapartida a los discos duros convenciones que utilizan discos magnéticos.

Los SSD por lo tanto y sin entender mucho de la materia son más silenciosos, más rápidos en los tiempos de acceso y tienen menos latencia.

Aunque por el momento no se utilizan todo lo que deberían por diversos problemas o desventajas que pasamos a comentar en esta entrada, principalmente sus grandes desventajas es el precio y la capacidad, pero poco a poco las prestaciones de los discos SSD van mejorando y se están abriendo hueco en el mercado.

Ventajas

  • Gran velocidad de escritura
  • 10 veces más rápidos en lecturas que los discos convencionales
  • Menor consumo de energia y por lo tanto se calientan menos
  • Silenciosos
  • El rendimiento de los SSD es estables no disminuye al disminuir el espacio libre
  • Menos peso y menor tamaño
  • Más resistente y menos complejo
  • Tiempos de acceso mucho menores

Desventajas

  • Precio, los precios son considerablemente altos
  • Capacidad, disponen de mucha menos capacidad si lo comparamos con los discos convencionales
  • Vida útil, aunque cada vez se nota menos, las memorias flash tienen un límite de ciclos de escritura, normalmente desde 1.000.000 hasta 5.000.000 de ciclos. Algunos sistemas de archivos especiales pueden mitigar este problema repartiendo los datos a lo largo de todo el disco.

Discos SSD en servidores

Aunque se conocen de sobra las excelencias de los discos SSD, debido a su precio y en algunas ocasiones a su poca capacidad no están demasiado extendidos en lo que respecta al uso de servidores.

Personalmente he utilizado he utilizado sistemas (Linux y Windows) con ambos tipos (SSD y discos convencionales) y la diferencia entre uno y otros es abismal, los resultados del sistema con discos SSD en lo que a servidores se refiere son notablemente mejores que con discos convencionales en gran medida gracias al incremento en las velocidades de escritura y lectura frente a los para mí ya obsoletos (para servidores) discos rotacionales o discos convencionales.

Sin duda si lo que se necesita es un servidor de alto rendimiento la mejor opción es utilizar discos de estado sólido y más aún cuando estos servidores tienen un número elevado de escrituras, es decir un servidor dedicado para el uso de MySQL (por ejemplo) aumenta en gran medida su rendimiento con el uso de discos SSD.

Algunas curiosidades

  • Técnicamente no son discos a pesar de que en castellano tendamos a traducir la “D” de SSD por disk se trata de drive.
  • Impresionante: Tiempo de carga de disco duro normal vs disco estado solido (ssd)
  • En un estudio de grabación es muy importante el silencio. Los discos SSD permiten reducir el ruido que el ordenador genera, eliminando al 100% el sonido del disco duro
  • Soporta caídas, golpes y vibraciones sin estropearse y sin descalibrarse como pasaba con los antiguos Discos Duros.

TweetNginx es un servidor web de alto rendimiento escrito por Igor Sysoev, desarollado para una de las web más visitadas de Rusia (Rambler), además se trata de una de las mejores alternativas a Apache, líder indiscutible del mercado. Actualmente se calcula que el 7% de páginas web corren bajo Nginx. Algunas de esas páginas son [...]

“No a todo” en Windows

15 de marzo de 2010

en: Sistemas

Son muchas las veces que me lo he preguntado, pero pocas veces las que he investigado el tema. Cuando copiamos o cortamos ficheros en Windows de vez en cuando el sistema nos alerta de que se encuentran ficheros similares en la carpeta destino, llegado a este punto nos pregunta:

“Sí”, “Sí a todo”, “No”, y “Cancelar”. Pero que ocurre si quisiéramos “No a todo”.

Está es la imagen más cercana a la solución que he encontrado:

Pero bueno obviamente y como me imaginaba había una solución para no tener que estar media hora pinchando en el “botón no”.

La solución es hacer click en el botón “No” con la tecla Shift pulsada al mismo tiempo y esto simulará el comportamiento de “No a todo”.

¿Qué es un Exabyte?

19 de febrero de 2010

en: Sistemas

Unidad de medida informática simbolizada como EB. Un exabyte equivale a 1024 petabytes.

El orden de las unidades de almacenamiento es el siguiente: Byte, Kilobyte, Megabyte, Gigabyte, Terabyte, Petabyte, Exabyte, Zettabyte, YottaBytee, Brontobyte

Para hacernos una idea recurramos a los petabytes que nos va a facilitar la comprensión.

¿Y Cuanto es un Petabyte?

Pues un millon de Gigabytes, que se dice pronto. Esto equivaldría más o menos a 3.500.000.000 canciones en mp3, 500.000 de horas de vídeo en DivX.


8 Bits = 1Byte
1024 Bytes = 1 Kilobyte
1024 Kilobytes = 1 Megabyte
1024 Megabytes = 1 Gigabyte
1024 Gigabytes = 1 Terabyte
1024 Terabytes = 1 Petabyte
1024 Petabytes = 1 Exabyte
1024 Exabytes = 1 Zettabyte
1024 Zettabytes = 1 YottaByte
1024 YottaBytes = 1 Brontobyte
1024 Brontobytes = 1 GeopByte

Para hacernos una idea:

El tráfico anual de Internet se estima en entre 5 y 8 exabytes.
El tamaño de Internet (entendido como almacenamiento) se estima en cerca de 500 exabytes.

En estos días Google ha comenzado a activar el soporte del protocolo IPv6 para YouTube lo que hace ver que la interminable migración de IPv4 a IPv6 está cada vez más cerca.

YouTube comienza a usar IPv6 [ENG]

La principal diferencia es que IPv4 puede llegar a albergar 232 direcciones de red diferentes y no es suficiente para que cada persona del planeta disponga de su propia dirección y mucho menos para que cada aparato electórnico pueda llegar a tener direcciones diferentes, en cambio IPv6 admite 2128, es decir con IPv6 tendríamos direcciones ip de sobra para cada persona y aparato de la tierra.

Lo cierto es que Internet duplica su tamaño cada año desde 1988.
Con el actual sistema IPv4 serian teóricamente posibles unos 4 billones de direcciones IP (232 direcciones), la previsión de población mundial para el 2.050 es de 9 mil millones de personas.

IPv6 es una solución por lo tanto a las limitaciones de IPv4:

  • Escasez de direcciones Ip.
  • Limita el crecimiento de Internet.
  • Provoca que los usuarios use NAT.
  • Hoy día el ruteo es ineficiente.
  • IPv4 no fue diseñado para ser seguro.

IPv6 tendrá otros beneficios, como la posibilidad de configuración automática de las redes, lo que reducira enormemente el coste de su mantenimiento.

Será posible establecer niveles de seguridad a nivel IP (permitiendo autentificación de las transmisiones entre equipos, asegurando la integridad y privacidad de las conexiones).

IPv6 – Wikipedia
Ipv4 – Wikipedia