Big Data – Demanda de competencias y mercado de trabajo para el periodo 2012-2017

Panorama general de las competencias de Big Data requeridas

Las empresas que están buscando  personal para posiciones de Big Data típicamente necesitan un número de habilidades técnicas junto con un amplio rango de conocimientos metodológicos y de procesos.

Aunque las capacidades solicitadas típicamente varían de acuerdo a la posición o cargo asignado, es importante tener un panorama de cómo la demanda de habilidades y competencias han variado en el mercado de trabajo de Big Data en los años recientes, en especial los 2 nuevos campos de competencias quizás más importantes en este campo, ejemplo: NoSQL y Hadoop.

Las competencias técnicas más comúnmente solicitadas para los especialistas de Big Data durante el Q3 del 2012 fueron NoSQL, Oracle, Java y SQL, cada una con al menos 30% de los avisos de solicitud de personal del periodo.

Como se observa en el gráfico superior, Oracle ha sido la tecnologia mas solicitada por los empleadores de especialistas de Big Data hasta el Q2 del 2012, momento en el cual esta ha sido superada por la tecnología NoSQL. En el gráfico también se observa cómo  la tecnología SQL aparece casi  en la misma proporción durante los últimos 5 años, y al igual que Oracle ha sido superada actualmente por la demanda de profesionales con competencia en NoSQL y otras competencias centrales asociadas con el desarrollo de Big Data (ejemplo.: Java que es la base de la tecnología Hadoop).

NoSQL

Las bases de datos NoSQL (Not Only SQL) son la nueva generación de bases de datos, frecuentemente no relacionales, distribuidas, de código abierto y escalables horizontalmente. Las bases de datos NoSQL se han convertido en una requisito principal para los empleadores que buscan desarrollar sus potencialidades en Big Data y entre las 150 o más variantes de NoSQL, las 2 más comúnmente solicitadas referidas a estas  por los empleadores de personal de Big Data en UK  durante el Q3 del 2012 fueron MongoDB y en menor medida principales CouchDB.

En los últimos 2 años el incremento de la demanda de los empleadores para especialistas en tecnología NoSQL ha sido extraordinario. En el caso de CouchDB, esta muestra la más baja tasa de crecimiento en el periodo 2010/2012 que fue de 650%, en tanto la tasa registrada para todas las tecnologías NoSQL fue de 1.600 % y para la tecnología MongoDB se tuvo la cifra extraordinaria de crecimiento de 4.200% entre el Q3. del 2010 y el  Q3. del 2012.

Hadoop

Otro aspecto integral de muchos desarrollos de Big Data es la adopción / integración  de tecnología  Apache Hadoop y sus sub-componentes y proyectos relacionados como por ejemplo: Avro, Cassandra, Chukwa, HBase, Hive, Mahout, Pig, ZooKeeper, etc.

Apache Hadoop es un framework open source que soporta la ejecución de aplicaciones distribuidas de grandes volúmenes de datos sobre un grandes grupos de proveedores de hardware y de esta manera proporciona a la empresa un medio rentable para implementar una solución de computación distribuida escalable que ayude a hacer frente a las necesidades de desarrollo de Big Data.

El proyecto Apache Hadoop está referido a  un software open-source(http://hadoop.apache.org/) que facilita el procesamiento distribuido de grandes cantidades de datos en diversos grupos de computadoras utilizando modelos de programación simple. Esta diseñada para escalar entre servidores únicos a cientos de equipos de cómputo, cada uno ofreciendo capacidades de computación local y almacenamiento.

De la misma manera que NoSQL, la demanda de Hadoop ha aumentado en forma dramática en los últimos años, así es que mientras que en el Q3 del 2010 hubieron alrededor de 55 vacantes de BigData referidas a Hadoop en el Q3 del 2012 el número se incrementó en 700% hasta llegar a 820 posiciones en total.

 De esto se deduce que la demanda para Hbase (la base asociada NoSQL componente de Hadoop) se ha incrementado en una tasa aún mayor, de 2,370% en los últimos 2 años.

Tendencias de la demanda de especialistas de Big Data

Demanda estimada

En el último año Big Data no ha sido totalmente reconocida debido a que siempre se le ha asociado con los conceptos de analitica e Business Intelligence. El crecimiento de los volúmenes de datos, junto con el desarrollo de la tecnología asociada y la disminución de los costos relativos al almacenamiento, recuperación y análisis han empujado a la BigData han entrar con fuerza en la carrera de aplicaciones importantes en el mercado.

En realidad como se ve en el gráfico inferior la demanda de personal de Big Data ha sido claramente identificable en el mercado de especialistas de IT al menos en los pasados 5 años aunque a niveles muy debajo del periodo actual.

La demanda de personal de Big Data ha aumentado en forma general aproximadamente en 912% entre el 3er. Trimestre del 2007 y el 3er. Trimestre del 2012, considerando que el número de avisos de vacantes  publicada creció en 380 en el 3er. T. del 2007 hasta 3,790 en el 3er. T. 2012, que equivale a un incremento promedio anual de 182%.

Se debe reflexionar que este crecimiento destacable se ha dado en un periodo en la que la economía de UK se ha sumergido en recesión y en la cual la demanda de personal en general ha disminuido 30% en total (3Q 2007-3Q 2012) o 6% en promedio por año. Aun en el sector de IT donde los niveles de empleo han sido bastante resistentes frente al clima económico complicado, la demanda publicada de personal ha disminuido en los últimos 5 años, tanto en general como a nivel de especialistas de  Data Warehousing/Business Intelligence mas especificamente.

Estimación general de la tendencia de la demanda por especialidad

Aunque el “Científico de datos- Data Scientist”  puede ser el trabajo más atractivo aparece en mucho menor medida que lo deseado por los reclutadores de especialistas. En  cambio la posición  que ha crecido con mayor continuidad en el sector de Big Data es la de Desarrollador que ha alcanzado el 42% de las posiciones publicadas en el 3Q del 2012. En oposición los puestos publicados para el “científico de datos” alcanzaron el 1% en el periodo que representa el 0.02% de la demanda total de personal de IT.

Demanda por especialidad y tipo de contrato

La demanda de personal de Desarrollo (Development staff) está distribuida casi por igual para permanentes y contratados, con un 40% y 44% respectivamente de las posiciones publicadas para Big Data en el Q3 del 2012.

Las variaciones en las demandas son más abiertas en las otras posiciones, así mientras para el puesto de Analista el 7% era para posiciones permanentes, casi el doble (13%) fue para  contratos. En forma similar la proporción de las posiciones permanentes para el puesto de Administrador de Big Data fueron 7%, más de 2 veces que para las posiciones de contrato.

 La predominancia de las posiciones de Desarrollo no siempre ha existido, ya que hace 5 años las empresas de personal eran más propensas a buscar posiciones de Analistas que posiciones de Desarrollo con una proporción relativa entre ambas de 20% y 13%  de puestos vacantes durante el Q3 del 2007 (ej. comparado con 8% y 42% durante el Q3 del 2012). La proporción para trabajos de Big Data que fueron para Project Managers representaron una cifra mucho mayor que la actual (5% y 1% respectivamente) como se ilustra en el gráfico inferior.

Estimados de empleos de personal de IT&T 2012–2017

Estimados de ONS en base a la encuesta sobre la fuerza laboral (LFS) indican que en el 2011 hubieron aproximadamente 1.1 millones de trabajadores en el sector de TI&T en UK que representaron aproximadamente el 3.8% del total de la fuerza laboral.

En los últimos 5 años (2006-2011) la fuerza laboral del sector de TI&T se incrementó aproximadamente en 53,000 puestos, representando un incremento anual de 1.0% que contrasta con el descenso del trabajo exhibido en el Reino Unido en su conjunto de aproximadamente -0.2%.

En el periodo 2012-2017 se estima que el crecimiento promedio del empleo en el sector de TI&T crecerá a un ritmo más rápido (2.5% anual) y para el 2017 se anticipa que habrá aproximadamente 1.3 millones de personas empleadas en el sector de TI&T en el Reino Unido (en comparación, el crecimiento del empleo se prevé en general en alrededor de 0,8% anual para el mercado laboral del Reino Unido en su conjunto)

En el corto plazo el crecimiento del empleo de especialistas de TI&T se prevé que será mayor para los puestos senior como gerentes y profesionales, en tanto que las personas empleadas en posiciones de menor competencia técnica continuará decreciendo o en el mejor de los casos se mantendrá estable en el periodo.

Previsiones de demanda para especialistas de Big Data 2012–2017

Para la determinación de los estimados se han previsto 3 escenarios que se detallan:

1) Un escenario de elevado crecimiento, que asume que la industria de Big Data todavía se encuentra en su fase inicial y donde la adopción de nueva tecnología continuará a aumentar por los siguientes 2 años antes de alcanzar la última etapa de madurez donde la tasa de crecimiento se espera se reduzca.

2) Un escenario de menor crecimiento donde la industria se moverá a lo largo de la curva de adopción, y como tal las tasas de adopción y demanda de empleo se reducirán considerablemente en comparación con los últimos años.

3) Un escenario de crecimiento medio que sigue una ruta de crecimiento intermedio entre las 2 citadas anteriormente.

 Bajo el primer escenario (crecimiento elevado) la demanda de posiciones de especialistas de BigData  se espera que crezca en 117% para los próximos 5 años, que es equivalente a un crecimiento promedio anual de 23%. De acuerdo a estos porcentajes los puestos de trabajo creados serían aproximadamente 32,000 por año hasta el 2017 y en todo el periodo de estimación llegarían a ser 146,000 puestos de trabajo nuevos creados en la economía.

En el escenario de crecimiento bajo, los puestos de trabajo de Big Data crecieron con una tasa de 13% anual (65% en todo el periodo) lo que representa 24,000 puestos nuevos por año al 2017.  En el periodo total bajo este escenario se crearían alrededor de 118,000 nuevas oportunidades de trabajo para la economía en el periodo 2012-2017.

Bajo el escenario intermedio los puestos de trabajo de Big Data crecerian a una tasa de 18% anual (92% en total) que representarian 28,000 puestos de trabajo por año o 132,000 puestos nuevos para la economía en el periodo 2012-2017.

Fuente: Big Data Analytics – An assessment of demand for labour and skills, 2012-2017

Visitas: 632