Los diez algoritmos y métodos más importantes que utilizan los científicos de datos

Nota: Este artículo es una traducción del original que aparece en el sitio de KDnuggets 

Top Algorithms and Methods Used by Data Scientists

La última encuesta de KDnuggets identifica la lista de los mejores algoritmos que utilizan los científicos de datos, y hay sorpresas con la mayoría de los que se utilizan en el entorno académico y los orientados a la industria.

Por Gregory Piatetsky, KDnuggets.

La pregunta de la última encuesta de fue: 
¿Qué metodos / algoritmos ha utilizado durante los últimos 12 meses para tratar una aplicación real relacionada con la ciencia de los datos? . 

Estos son los resultados, con una población de 844 votantes. 

Los 10 mejores algoritmos (y métodos) y su porcentaje de votantes son: 

Sector	% de votantes	Promedio de algoritmos utilizados	% de uso de algoritmos supervisados	% de uso de algoritmos sin supervisión	% de uso de algoritmos meta	% de uso de otros métodos
Industria	59%	8,4	94%	81%	55%	83%
Gobierno / entidades sin ánimo de lucro	4,1%	9,5	91%	89%	49%	89%
Estudiantes	16%	8,1	94%	76%	47%	77%
Mundo académico	12%	7,2	95%	81%	44%	77%
Todos		8,3	94%	82%	48%	81%

 
Fig. 1: Los 10 mejores algoritmos y métodos que utilizan los científicos de datos
Ver tabla completa de todos los algoritmos y métodos al final de la publicación 

(Nota: El objetivo de la encuesta era descubrir los mejores herramientas que utilizan los científicos de datos, pero la palabra 'herramientas' es ambigua, por lo que por simplicidad a la tabla le he dado el nombre de los 10 mejores 'algoritmos'. Por supuesto, como muchos de ustedes han señalado con razón, las estadísticas o la visualización (y algunas otras opciones) no son algoritmos, y se pueden clasificar mejor como métodos o enfoques. Mi error y cambió el nombre a este post "10 algoritmos y métodos".) 

El encuestado de tipo medio utiliza algoritmos / métodos 8.1, lo que supone un gran aumento en relación con una encuesta similar realizada en 2011. 

Comparándolos con la encuesta de 2011 Los algoritmos para análisis de datos / minería de datos se observa que los mejores métodos siguen siendo los de regresión, agrupaciones, arboles / reglas de decisión, y la visualización Los mayores incrementos relativos, medidos en porcentajes relativos (porcentajes de 2016 / porcentajes de 2011 - 1) son para

·         Aprendizaje por refuerzo, sube un 40%, desde el 23,5% de utilización en 2011 hasta el 32,8% en 2016

·         Minería de textos, sube un 30%, desde el 27,7% hasta el 35,9%

·         Visualización, sube un 27% desde el 38,3% hasta el 48,7%

·         Series temporales / Análisis de secuencias, sube un 25% desde el 29,6% al 37,0%

·         Detección de anomalías / desviación, sube un 19% desde el 16,4% al 19,5%

·         Métodos de agregación, sube un 19% desde el 28,3% hasta el 33.6%

·         SVM, sube un 18% desde el 28,6% al 33.6%

·         Regression, sube un 16% desde el 57,9% hasta el 67.1%

Los más populares entre las nuevas opciones añadidas en el 2016 son

·         K-vecinos más cercanos, el 46% de participación

·         PCA, el 43%

·         Bosques aleatorios, el 38%

·         Optimización, el 24%

·         Redes neuronales, aprendizaje profundo, el 19%

·         Descomposición en valores singulares, el 16%

Las mayores caídas son para

·         Reglas de asociación, un descenso del 47%, del 28,6% al 15,3%

·         Modelado Uplift, un descenso del 36%, desde un 4,8% a un 3,1% (que constituye  una sorpresa, dado sólidos resultados publicados)

·         Análisis de factores, un descenso del 24%, desde 18,6% a un 14,2%

·         Análisis de supervivencia, desciende un 15%, desde un 9,3% a un 7,9%

La siguiente tabla muestra el uso de diferentes tipos de algoritmos: Supervisado, no supervisado, Meta, y otra por tipo de empleo. Se excluyeron de NA (4,5%) y otros (3%) tipos de empleo. 

Tabla 1: Uso de los algoritmos por sectores 

Sector	% de votantes	Promedio de algoritmos utilizados	% de uso de algoritmos supervisados	% de uso de algoritmos sin supervisión	% de uso de algoritmos meta	% de uso de otros métodos
Industria	59%	8,4	94%	81%	55%	83%
Gobierno / entidades sin ánimo de lucro	4,1%	9,5	91%	89%	49%	89%
Estudiantes	16%	8,1	94%	76%	47%	77%
Mundo académico	12%	7,2	95%	81%	44%	77%
Todos		8,3	94%	82%	48%	81%

Observamos que casi todo el mundo utiliza algoritmos de aprendizaje supervisado. 
Los científicos de datos que trabajan para el gobierno y para la industria utilizaron diferentes tipos de algoritmos que los estudiantes o investigadores académicos,
y la industria de datos científicos eran más propensos a usar algoritmos meta. 

A continuación, analizamos el uso de los 10 algoritmos y de aprendizaje profundo por sectores. 

Tabla 2: Uso de los 10 algoritmos y de aprendizaje profundo por sectores

Algoritmo	Industria	Gobierno / entidades sin ánimo de lucro	Mundo académico	Estudiantes	Todos
Regresión	71%	63%	51%	64%	67%
Agrupación	58%	63%	51%	58%	57%
Decisión	59%	63%	38%	57%	55%
Visualización	55%	71%	28%	47%	49%
K-NN	46%	54%	48%	47%	46%
PCA	43%	57%	48%	40%	43%
Estadística	47%	49%	37%	36%	43%
Bosques aleatorios	40%	40%	29%	36%	38%
Series temporales	42%	54%	26%	24%	37%
Minería de textos	36%	40%	33%	38%	36%
Aprendizaje profundo	18%	9%	24%	19%	19%

Para hacer más visibles las diferencias,se calculamos la desviación del uso de algoritmo para cada tipo de sector en particular en relación con el uso promedio del algoritmo: Desviaicón (Tipo de algoritmo) = Uso (Tipo de algoritmo) / Uso (Todos los algoritmos) - 1. 
 
Fig. 2: Desviación del uso de los algoritmos por sectores. 

Observamos que los científicos de datos que trabajan para la industria son más propensos a utilizar la regresión, visualización, estadística, bosques aleatorios, y las series temporales El Gobierno / entidades sin ánimo de lucro son más propensos a utilizar la visualización, PCA, y las series temporales. Los investigadores académicos son más propensos a usar PCA y el aprendizaje profundo. Los estudiantes generalmente usan menos algoritmos, pero utilizan con más frecuencia la minería de textos y el profundo aprendizaje. 

Ahora nos centramos en la participación regional, que representa a la totalidad de los visitantes de KDnuggets.

Distribución regional de los participantes en la encuesta

·         Estados Unidos / Canadá, 40%

·         Europa, 32%

·         Asia, 18%

·         América Latina, 5,0%

·         África / oriente Medio, 3,4%

·         Australia / Nueva Zelanda, 2,2%

Como en la encuesta de 2011, se han concentrado Industria / Gobierno en un grupo y los Investigadores académicos / Estudiantes en un segundo grupo, y se ha calculado la 'afinidad' del algoritmo para el grupo de Industria / Gobierno con la fórmula 

N(Alg,Ind_Gov) / N(Alg,Aca_Stu) 
------------------------------- - 1 
N(Ind_Gov) / N(Aca_Stu)

De manera que un algoritmo con afinidad 0 significa que se utiliza por igual tanto en el grupo de Industria / Gobierno como en el grupo de Investigadores académicos / Estudiantes. Cuanto mayor es la afinidad del grupo Industria / Gobierno más 'industrial' es el algoritmo, y cuanto menor es la afinidad, más 'académico' es el algoritmo. 
La mayoría de los algoritmos 'industriales' fueron:

·         Modelado uplift, 2,01

·         Detección de anomalías, 1,61

·         Análisis de supervivencia, 1,39

·         Análisis de factores, 0,83

·         Series temporales / Secuencias, 0,69

·         Reglas de asociación, 0,5

Si bien el modelado uplift fue de nuevo el 'algoritmo' industrial más representativo, el hallazgo sorprendente es que lo utilizan muy pocos, solo el 3,1%, el algoritmo con menor porcentaje de uso en la encuesta. 
La mayor parte de los algoritmos académicos fueron:

·         Redes neuronales normales, -0.35

·         Clasificadores bayesianos ingenuos, -0.35

·         SVM, -0.24

·         Aprendizaje profundo, -0.19

·         EM, -0.17

La siguiente figura muestra todos los algoritmos y sus afinidades Industria / Académico,  
 
Fig. 3. Encuesta de KDnuggets Los  mejores algoritmos que utilizan los científicos de datos en la Industria frente a los Académicos 
La siguiente tabla contiene detalles acerca de los algoritmos, el % de encuestados que los utilizaron en las encuestas de 2016 y de 2011, la variación (% 2016 /% 2011 - 1), y la afinidad con el grupo de Industria como se explicó anteriormente. 
Tabla 3: Encuesta KDnuggets de 2016: Algoritmos  que utilizan los científicos de datos 
La siguiente tabla contiene detalles acerca de los algoritmos, con columnas

·         N: Clasificación de acuerdo con la proporción de uso

·         Algoritmo: Nombre del algoritmo,

·         Tipo: S, Supervisado, U, no supervisada, M, Meta, Z, Otro,

·         % de encuestados que utilizan este algoritmo en la encuesta de 2016

·         % de encuestados que utilizan este algoritmo en la encuesta de 2011

·         variación (% 2016 /% 2011 - 1), y

·         afinidad con el grupo de Industria como se ha explicado anteriormente.

Tabla 4: Encuesta KDnuggets de 2016: Algoritmos utilizados por los científicos de datos 

N:	Algoritmo	Tipo	% utilizado en 2016	% utilizado en 2011	% de variación	Afinidad con el grupo de Industria
1	Regresión	S	67%	58%	16%	0,21
2	Agrupación	U	57%	52%	8,7%	0,05
3	Árboles / Reglas de decisión	S	55%	60%	-7,3%	0,21
4	Visualización	Z	49%	38%	27%	0,44
5	K-vecinos más cercanos	S	46%			0,32
6	PCA	U	43%			0,02
7	Estadística	Z	43%	48%	-11,0%	1,39
8	Bosques aleatorios	S	38%			0,22
9	Series temporales / Análisis de secuencias	Z	37%	30%	25,0%	0,69
10	Minería de textos	Z	36%	28%	29,8%	0,01
11	Métodos de agregación	M	34%	28%	18,9%	-0,17
12	SVM	S	34%	29%	17,6%	-0,24
13	Refuerzo	M	33%	23%	40%	0,24
14	Redes neuronales normales	S	24%	27%	-10,5%	-0,35
15	Optimización	Z	24%			0,07
16	Clasificadores bayesianos ingenuos	S	24%	22%	8,9%	-0,02
17	Ensacado	M	22%	20%	8,8%	0,02
18	Anomalía /detección de desviación	Z	20%	16%	19%	1,61
19	Redes neuronales de aprendizaje profundo	S	19%			-0,35
20	Descomposición en valores singulares	U	16%			0,29
21	Reglas de asociación	Z	15%	29%	-47%	0,50
22	Gráfico / Enlace / Análisis de red social	Z	15%	14%	8,0%	-0,08
23	Análisis factorial	U	14%	19%	-23,8%	0,14
24	Redes bayesianas	S	13%			-0,10
25	Algoritmos genéticos	Z	8,8%	9,3%	-6,0%	0,83
26	Análisis de supervivencia	Z	7,9%	9,3%	-14,9%	-0,15
27	EM	U	6,6%			-0,19
28	Otros métodos	Z	4,6%			-0,06
29	Modelado uplift	S	3,1%	4,8%	-36,1%	2,01

Artículos relacionados:

·         The 10 Algorithms Machine Learning Engineers Need to Know

·         10 Algorithm Categories for A.I., Big Data, and Data Science

·         Why Implement Machine Learning Algorithms From Scratch?

Cómo conseguir trabajo en aprendizaje profundo (Deep Learning)

Nota: Este artículo es una traducción del original que aparece en el sitio de Deepgram titulado How to Get a Job in Deep Learning

Muchas gracias a Colin Heilbut, Account Executive de Deepgram por conceder su permiso para publicar este artículo

22 DE SEPTIEMBRE DE 2016

Si eres ingeniero de software (o estás aprendiendo el oficio), lo más probable es que hayas oído hablar del aprendizaje profundo (que a veces lo abreviamos por las siglas en inglés de Deep Learning, 'DL'). Es un campo de investigación interesante que se está desarrollando muy rápidamente, y actualmente se utiliza en la industria para hacer frente a una amplia gama de problemas, desde la clasificación de imágenes y reconocimiento de escritura, a la traducción automática y tristemente conocido por ganar al jugador de go campeón del mundo en cuatro juegos de cinco. 

Mucha gente piensa que necesita tener un doctorado o una gran experiencia para conseguir un trabajo en aprendizaje profundo, pero si ya eres un buen ingeniero, puedes adquirir rápidamente las habilidades y las técnicas necesarias. Al menos, esa es nuestra forma de pensar. (Así que incluso si eres principiante en aprendizaje profundo, te invitamos a solicitar uno de nuestros puestos vacantes.)

Cuestión importante: Es necesario tener motivación y también ser capaz de codificar y resolver problemas. Eso es todo.

En Deepgram utilizamos el aprendizaje profundo para abordar el problema de la búsqueda de expresiones. Básicamente, enseñamos a las máquinas a escuchar y recordar el contenido de conversaciones grabadas, llamadas telefónicas, vídeos en línea, podcasts, y todo lo que se refiere al tema del audio cuando la gente habla. Pero escuchar es sólo la mitad del trabajo. También estamos enseñando a las máquinas a recordar palabras y frases clave de estas grabaciones, de  manera similar a la forma en que lo hace nuestro cerebro cuando recuerda conversaciones: por el sonido de las palabras y frases clave que se teclean en la barra de búsqueda. (En el caso de que todavía no hayas practicado con Deepgram, tenemosuna pequeña demo que muestra algunas de sus posibilidades.)

Al principio puede parecer desalentador iniciarse en el aprendizaje profundo, pero la buena noticia es que ahora hay más recursos que nunca. (También hay una enorme demanda a la espera de ingenieros que sepan cómo implementar en software el aprendizaje profundo.) Pero si quieres conseguir un puesto de trabajo en aprendizaje profundo, antes necesitas ponerte al día, ¡permítenos que seamos tu guía! (Si ya sabes mucho sobre aprendizaje profundo y sólo está buscando información sobre cómo obtener un trabajo en este campo, puedes ir directamente al final de la página.)

¿Qué es el aprendizaje profundo?

En pocas palabras, el aprendizaje profundo consiste en la creación y entrenamiento de una gran red neuronal artificial con muchas capas ocultas situadas entre la entrada y la salida de la red. El término de red neuronal 'profunda' se debe a las muchas capas ocultas que constituyen la red. Las redes neuronales profundas tienen al menos tres capas ocultas, pero algunas redes neuronales pueden lelgar a tener cientos de ellas.

Las redes neuronales son modelos estadísticos complejos que permiten a los computadores crear una representación abstracta notablemente precisa de la información. ¿Qué tipo de información?, te preguntarás. Como hemos mencionado, la red neuronal profunda de Deepgram está entrenada específicamente para 'comprender' y actuar sobre los datos correspondientes a palabras habladas, pero las redes neuronales profundas se han utilizado en muchos otros contextos, desde la detección de cánceres en las exploraciones médicas al pronóstico del precio de la energía y a la modelización del clima.

Hay un buen número de jugadores importantes en el espacio del aprendizaje profundo. En el campo académico, el Geoffrey Hinton's lab de la University of Toronto, el Yann LeCun's group de la New York University y el Stanford's AI lab son algunos de los líderes más importantes en la investigación sobre aprendizaje profundo. En el sector privado, Google ha liderado la aplicación del aprendizaje profundo en sistemas de búsqueda y de visión por ordenador, y el jefe científico de Baidu, Andrew Ng, es un importante contribuyente a la literatura científica del aprendizaje profundo aparte de ser el co-fundador de Coursera.

¿Por qué ahora es tan accesible el aprendizaje profundo, incluso para los recién llegados a este campo? Hay dos factores principales. En primer lugar, el hardware de computación es ahora lo suficientemente rápido y barato para hacer el aprendizaje profundo accesible a casi cualquier persona que tenga instalada en su PC una tarjeta gráfica decente. (En las pruebas queu hemos realizado, hemos descubierto que un servidor GPU es casi tan rápido como 400 núcleos de CPU para ejecutar los algoritmos que utilizamos.) En segundo lugar, nuevas plataformas de código abierto de aprendizaje profundo como TensorFlow,Theano y Caffe permiten al usuario desarrollar  su propia red neuronal profunda de forma sencilla, especialmente si se compara con el hecho de tener que construir una red desde cero.

Hay mucho más sobre aprendizaje profundo, por supuesto, pero ¡ese es el motivo de está esta guía!

Lo que deberías saber antes de zambullirte en el aprendizaje profundo

Hablando de matemáticas, debes tener una cierta familiaridad con el cálculo, la estadística y el álgebra lineal. Todas estas disciplinas te ayudarán a entender la teoría y los principios de DL.

Obviamente, también va a ser necesario programar. Como puedes ver  de la lista de bibliotecas de aprendizaje profundo, la mayor parte de las bibliotecas más populares están escritas en Python y en R, por lo que ayudaría tener algún conocimiento de Python o de R.

Si necesitas ponerte al tanto en matemáticas o adquirir habilidades de programación, hay un montón de recursos en línea de muy alta calidad que puedes utilizar.

También ayuda, como hemos mencionado anteriormente, si tienes una tarjeta gráfica decente (o acceso a una GPU a través de una plataforma de computación en la nube como Amazon Web Services o de otros proveedores de alojamiento que figuran  aquí).

Dónde aprender aprendizaje profundo

Conferencias y artículos Sobre DL

Si eres nuevo en este campo y estás buscando determinadas explicaciones de cierto nivel de los conceptos que hay detrás del aprendizaje profundo sin perderte en los aspectos matemáticos y de programación, hay algunas charlas informativas para familizarizarte con los conceptos y la terminología.

·         La University of Wisconsin tiene una magnífica, página web sobre redes neuronales.

·         Brandon Rohrer, director científico de datos de Microsoft, dio una charla en Boston sobre la ciencia de datos abiertos en la que explicaba y desmitificaba el aprendizaje profundo sin necesidad de utilizar unas matemáticas de lujo ni la jerga informática asociada. Brandon tienee el video y las transparencias es esta página.

·         El pionero en aprendizaje profundo Geoffrey Hinton fue el primero en demostrar el uso de algoritmos de propagación hacia atrás para la formación de redes neuronales profundas. En la actualidad dirige la investigación sobre AI de Google cuando no está atendiendo a sus responsabilidades académicas en la Universidad de Toronto. Dió una breve pero exclarecedora charla sobre 'Cómo funcionan realmente las redes neuronales' que nos gusta mucho. Puedes también encontrar una lista de documentos sobre DL 'sin muchas matemáticas en su  página de la facultad.

·         Steve Jurvetson, socio fundador de DFJ, una gran empresa de capital riesgo de Silicon Valley, dirigió una mesa redonda en la Escuela de Negocios de Stanford sobre el tema. I Si estás interesado en aprender sobre aprendizaje profundo desde el punto de vista de algunos emprendedores así como de ingenieros de aplicación de DL en la industria,  consulta este video.

ISi lo que deseas es zambullirte y te sientes cómodo con un poco de matemáticas, con ejemplos de código sencillos, y con las reflexiones sobre la aplicación de DL en la práctica, consulta el blog del graduado de Stanford  Andrej Karpathy  publicado en "The Unreasonable Effectiveness of Recurrent Neural Networks".

Cursos en línea

Si eres el tipo de persona que disfruta  con realizar cursos en línea, estás de suerte. Hay varios cursos recomendables de aprendizaje profundo disponibles en línea.

·         El de Andrew Ng  Stanford course on machine learning es muy popular y está revisado. Se considera uno de los mejores cursos de iniciación en aprendizaje automático y te proporcionará una preparación rigurosa para profundizar en el aprendizaje profundo.

·         Udacity tiene un curso introductorio de dos semana sobre aprendizaje automático que se centra tanto en la teoría como el aplicaciones del mundo real. Una vez más, se trata de un curso de preparación recomendable para los interesados en la larga búsqueda del aprendizaje profundo.

·         El curso de Caltech’s Yaser S. Abu-Mostafa’s "Learning From Data" es menos denso en matemáticas, pero es un sólido recurso de la teoría y las técnicas del aprendizaje automático.

·         El de Andrej Karpathy 'CS231n: Convolutional Neural Networks for Visual Recognition' de Stanford es un reto, pero un curso bien hecho sobre redes neuronales profundas, y las notas del programa de estudios y el curso detallado están disponibles en línea.

·         El curso de Geoffrey Hinton sobre 'Neural Networks for Machine Learning' es bueno, y lo enseña uno de los padrinos en este campo.

Libros

Tal vez los cursos en línea no sean lo tuyo, o tal vez lo que prefieres es leer en lugar de ver las conferencias y estudiar las presentaciones de diapositivas. Hay unos cuantos libros interesantes por ahí que vale la pena echarles un vistazo. Nuestras recomendaciones:

·          Grokking Deep Learning de Andrew Trask tiene como objetivo proporcionar una guía accesible y práctica sobre las técnicas de aprendizaje profundo. Si sabes algo de Python y estudiaste álgebra en la escuela secundaria estás 100% preparado para leer este libro.

·         El libro de Ian Goodfellow, Yoshua Bengio y Aaron Courville, Deep Learning, que será publicado por el MIT Press.  Ahora hay  una nueva versión gratis del libro disponible en línea, además de las diapositivas de las clases y los ejercicios.

Otros recursos de aprendizaje y sitios web

·         Metacademy es un sitio muy interesante con un muy, muy buen resumen de aprendizaje profundo y toneladas de enlaces a temas específicos en este campo.

·         Denny Britz del equipo de Google Brain tiene un estupendo glosario completo de terminología de aprendizaje profundo  en su sitio web, WildML. También crea un boletín semanal que incluye enlaces a artículos tanto técnicos como no técnicos sobre aprendizaje automático y aprendizaje profundo.

Dónde practicar aprendizaje profundo

Una vez que tengas algunos de los fundamentos en tu haber, estarás preparado para incar el diente a algunos datos y ejercicios reales. Aquí hay algunos sitios web donde se puedes encontrar conjuntos de datos de muestra y pruebas de codificación:

·         Kaggle tiene una colección bastante extensa de conjuntos de datos que van desde puntos de regeneración de SF/Bay Area Pokemon Go  a empresas Y Combinator al gigante corpus de texto de los correos filtrados de Hillary Clinton.

·         UC Irvine tiene también una gran colección de conjuntos de datos para entrenar a redes neuronales profundas.

Dónde encontrar personas interesadas en aprendizaje profundo

Independientemente de si eres aficionado o tienes un doctorado en investigación sobre aprendizaje profundo, siempre es bueno onectar con la comunidad. Aquí se facilitan algunos sitios en los que se puede conocer a otras personas interesadas en aprendizaje profundo:

·         Deberías ver si en tu ciudad hay algún grupo de aprendizaje automático en sitios como Meetup.com.  En la mayoría de las ciudades importantes hay algo.

·         Hay varias comunidades en línea dedicadas al aprendizaje profundo y al análisis desde el puntos de vista de los datos:

o    Deeplearning.net es uno de los más más importantes en información relacionada con el aprendizaje profundo. Los recursos incluyen: una lista completa de lecturas, unalista de laboratorios de investigación sobre aprendizaje profundo, y una colección de demos inteligentes con los que se puede ver el funcionamiento de DL.

o    Datatau is una especie de Hacker News, pero específicamente enfocado a datos y a aprendizaje automático. Las secciones de comentarios no son muy activos pero hay nuevos enlaces que se publican con regularidad.

o    Hay un subreddit de aprendizaje automático que es bastante activo. (También tienen un wiki muy útil, incluso con más recursos.) El subrredit de aprendizaje profundo es un poco más tranquilo.

o    Hay un Hay un grupo de Google Plus sorprendentemente activo que se dedica al aprendizaje profundo y tiene más de 30000 miembros. (¿Quién sabía que la gente todavía utiliza Google Plus?)

Dónde conseguir trabajo en aprendizaje profundo

La buena noticia es que, básicamente, todo el mundo está contratando personas que comprenden la disciplina del aprendizaje profundo.

Probablemente tú ya conoce todos los lugares habituales en los que buscar: AngelList, el hilo mensual de noticias de hackers'Who is Hiring', el portal de empleo StackOverflow, y las docenas de sitios de búsqueda de trabajo en general.

Una de las pocas bolsas de trabajo especializadas en puestos de DL se encuentra enDeeplearning.net, y hay una bolsa de trabajo más general en Kaggle.

Estos son sin duda los puntos más importantes. La mayoría de las empresas que buscan talento DL / ML no están interesadas en que el solicitante pase por el aro de recursos humanos.

Qué hacer cuando se solicita un trabajo

Las empresas quieren ver si has hecho cosas interesantes antes solicitar el trabajo.

Si no has hecho nada, seguramente no te citarán para una entrevista, pero si has hecho algo, tendrás una oportunidad, sin importar cuál sea tu formación. Por supuesto, surge la cuestión de '¿qué cosas interesantes nos puedes mostrar?'

Si tu única experiencia es la elaboración de pequeños proyectos con los que has tenido un éxito relativo, eso probablemente no ayudará (aunque podría funcionar para grandes empresas, o empresas que necesitan realizar trabajos sencillos de aprendizaje automático). Si dices:

'Hice un análisis DNN de twitter desde cero, utilizando Teano, que puede predecir con una buena precisión el número de retweets que conseguirá un tweet:

·         esta es la precisión que he conseguido

·         este es el enlace al documento

·         este es un enlace a github para el código'

Con este tipo de cosas vas a conseguir entrar. A continuación, puedes hacer funcionar tu magia, mostrar tus apuntes de codificación y exponer tus habilidades en la resolución de problemas durante la entrevista. :)

Deepgram también está buscando candidatos, por lo que si estás interesado en la solución de problemas difíciles y la creación de herramientas interesantes, avísanos!

En la redacción de este artículo ha colaborado Jason D. Rowley.

Scott Stephenson

Físico especialista en materia oscura y co-fundador de Deepgram, la firma  más segura del mundo en la búsqueda de audio.

San Francisco, CA http://www.deepgram.com

  

Transcripción automática de voz a bajo precio

Precios de la industria: Precio Deepgram $1.50/hr : Igualamos el precio de cualquiera $0.75/hr  No nos importa. Lo haremos…

Explicación de términos introductorios clave del análisis predictivo

Nota: Este artículo es una traducción del original que aparece en el sitio de KDnuggets 

Predictive Analytics Introductory Key Terms, Explained

Información sobre el libro 'Analítica predictiva' del autor Eric Siegel

Analítica predictiva / Predictive Analytics: Predecir El futuro utilizando big data / Predicting The Future Using Big Data (Spanish Edition)

ISBN-10: 844153442X

ISBN-13: 978-8441534421

Publisher: Anaya Multimedia (September 30, 2013)

Vicente Gonzalez Leon (Translator)

September 30, 2013

Paperback: 383 pages

Language: Spanish

Explicación de términos introductorios clave en el análisis predictivo

Para aquellos que se inician en el tema de análisis predictivo, se presenta en este artículo,de una forma directa y sin florituras, una colección de términos y conceptos introductorios.

Por Eric Siegel, Predictive Analytics World.

Este artículo recoge las definiciones clave incluidas en el popular y galardonado libro del fundador de PAW Eric Siegel, Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die (revisado y actualizado en 2016), que se ha adoptado como libro de texto de divulgación científica en más de 35 universidades, y que se conoce como “The Freakonomics of big data.”

1. Análisis predictivo

El análisis predictivo es una tecnología que aprende de la experiencia (datos) para predecir el comportamiento futuro de los individuos con el fin de adoptar las mejores decisiones.

En esta definición, el término individuo se considera en un sentido amplio, y puede referirse tanto a personas como a otros elementos de la organización. La mayoría de los ejemplos de este libro tratan de personas que necesitan hacer pronósticos, como son clientes, personas con deudas, candidatos, empleados, estudiantes, pacientes, donantes, votantes, contribuyentes,  potenciales sospechosos, convictos. etc. Sin embargo, el análisis predictivo también se aplica a determinados tipos de empresas (por ejemplo, las que se dedican al business-to-business), a productos, ubicaciones, restaurantes, vehículos, barcos, vuelos, entregas, edificios, arquetas, transacciones, mensajes de Facebook, películas, satélites, acciones, preguntas, y mucho más. Sea cual sea el dominio, AP hace predicciones sobre un conjunto de individuos cuyo número puede ampliarse si es necesario.

2. Modelo predictivo

Es un mecanismo que permite predecir el comportamiento de un individuo, bien sea sobre hacer clic, comprar, mentir, o incluso fallecer. Se utilizan como entradas las características (variables) de la persona y proporciona a la salida una puntuación predictiva. Cuanto más alta sea la puntuación, mayor es la probabilidad de que el individuo muestre el comportamiento previsto.

3. Inteligencia artificial

Las capacidades de una máquina más evolucionada son prácticamente imposibles de conseguir, ya que, cualquier logro necesariamente se trivializa (mediante su mecanización) y por lo tanto no impresiona desde el punto de vista subjetivo de la 'inteligencia', por lo que ya no cumple los requisitos. Para expresarlo de otra manera, la palabra 'inteligencia' no tiene una definición formal, así que ¿por qué utilizarla en un contexto de ingeniería? Sin embargo... ¡Todavía me siento como Watson de IBM que parece verdaderamente inteligente cuando participa en el concurso Jeopardy de televisión!. ¡Me siento cautivado! Esta definición no es un extracto del libro de Análisis predictivo, pero sí un resumen de una de mis conclusiones en el capítulo del libro dedicado a Watson.

4. Modelo incremental

Es un tipo de modelo que permite predecir la influencia sobre el comportamiento de un individuo como consecuencia de aplicar un tratamiento sobre otro. Entre los sinónimos se distinguen: respuesta diferencial, impacto, impacto incremental, aumento incremental, respuesta gradual, aumento neto, respuesta de la red, persuasión, aumento real, o modelo de respuesta real.

La puntuación que se obtiene como resultado del proceso incremental y del propio modelo incremental en sí responden a la pregunta: '¿En qué medida es más probable que este tratamiento genere el resultado deseado frente a un tratamiento alternativo?" Para obtener una información más completa, consulte el artículo Personalization Is Back: El capítulo 7 de How to Drive Influence by Crunching Numbers (que incluye enlaces para lecturas adicionales al final), trata del análisis predictivo y, para consultar otras citas técnicas ver las Notas correspondientes a ese capítulo, que se puede descargar en formato PDF en www.PredictiveNotes.com.

5. Búsqueda extensa

Es el término que el líder de la industria (y el inversor del Capítulo 1 que hace predicciones) John Elder acuñó para la automatización de los modelos predictivos que prueban muchas variables predictivas y el riesgo asociado de tropezarse con una correlación con la variable objetivo que se puede percibir como significativa, si se considera aisladamente sin tener en cuenta la búsqueda que se emplea para desenmascararla, pero que en realidad se debe a perturbaciones aleatorias. Sinónimos del término son: colector de comparaciones múltiples, pruebas de hipótesis múltiples, grados de libertad del investigador, búsqueda exhaustiva (similar a sobreajuste), efecto de buscar en otros lugares, jardín de senderos que se bifurcan, expedición de pesca, hallazgos de cosecha de cerezas, filtración de información, persecución del significado, y pirateria p.

Para obtener informacion adicional, ver mi artículo “HBO Teaches You How to Avoid Bad Science,” del capítulor 3 de la edición actualizada en 2016 de mi libro, Predictive Analytics, y para consultar otras citas técnicas, las Notas correspondientes a ese capítulo, que se pueden descargar en formato PDF en www.PredictiveNotes.com.

6. Descubrimiento de sospechosos de forma automática (DSA)

En cumplimiento de la ley, la identificación de posibles sospechosos que son desconocidos mediante la aplicación de análisis predictivo para marcarlos y clasificarlos en función de su probabilidad de ser objeto de investigación, ya sea por su participación directa en, o su relación con actividades delictivas.

En este tema se explora en una barra lateral especial el uso por parte de la NSA de análisis predictivo dentro de la ética y el capítulo se centra en la privacidad de análisis predictivo (capítulo 2). También puede leer mi artículo de opinión en Newsweek sobre este tema.

DSA proporciona un novedoso recurso para descubrir nuevos sospechosos. Gracias a él, la policía puede descubrirlos de forma científica, centrar la búsqueda de forma más efectiva aplicando el el mismo estado del arte de la tecnología basada en datos que se utiliza en la detección del fraude, la puntuación del crédito financiero, el filtrado de correo no deseado, y el marketing dirigido.

Nota sobre la automatización: DSA identifica a los individuos que mediante una investigación posterior pueden considerarse sospechosos. Por la definición formal del término según la normativa de orden público, un individuo no sería clasificado como sospechoso por una computadora, sino que lo haría un oficial de policía.

Los cinco efectos de la predicción

1. El efecto de la predicción: Un poco de predicción recorre un largo camino.

2. El efecto de los datos: Los datos son siempre predictivos.

3. El efecto inducción: El arte estimula el aprendizaje automático; las estrategias diseñadas en parte por la creatividad humana, apoyada en los programas de ordenador, tienen éxito en el desarrollo de modelos de predicción que funcionan bien cuando se trata de nuevos casos.

4. El efecto grupo: Cuando se unen en un conjunto los modelos predictivos, las limitaciones de unos las compensan los otros, de manera que es más probable que el conjunto como un todo haga predicciones correctamente que lo pueda hacer cada modelo por separado.

5. El efecto persuasión: Aunque imperceptible, la persuasión de un individuo la puede predecir el modelo incremental, una modelización predictiva a través de dos conjuntos de datos de entrenamiento distintos que registran, respectivamente, los resultados de los dos tratamientos que compiten entre ellos.

Los extractos se han incluido con el permiso del editor de Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die, Revised and Updated Edition (Wiley, enero de 2016) por Eric Siegel, Ph.D. Siegel es el fundador de Predictive Analytics World conference series — que abarca el despliegue tanto en el sector público como en el privado — editor ejecutivo de The Predictive Analytics Times, y ex profesor de ciencias de la computación en la Universidad de Columbia. Para consultar más información sobre el análisis predictivo, leer la Predictive Analytics Guide.