ARN

REDES NEURONALES

Segundo semestre de 2019

Facultad de Matemática, Astronomía, Física y Computación
Universidad Nacional de Córdoba



PROFESOR


AULA

    Aula 27 en el segundo piso de FAMAF

EXÁMENES

    Entre diciembre y marzo hay cuatro fechas con mesas de examen, en la cual pueden rendir como regulares o como libres. Las fechas son:
    • Viernes 6 de diciembre.
    • Viernes 20 de diciembre.
    • Viernes 14 de febrero.
    • Martes 3 de marzo.
    El examen comenzará a las 9.00 hs pero para quienes trabajan habrán posibilidad de rendir por la tarde, el mismo día del examen.

    Les pido que me escriban un correo electrónico avisándome en cuál fecha van a rendir.
    Una semana antes del examen, deben haber completado todos los prácticos (1, 2, 3 y 4), con su respectivo informe, en formato pdf, y deben enviármelo por correo electrónico..
    Una semana antes también tienen que informarme y acordar conmigo el tema del trabajo integrador, por mail.
    El día del examen deben presentarse personalmente, traer el trabajo integrador y su propia computadora, y en media hora deberán explicarlo y deferderlo, en mi oficina o donde yo les avise.
    Pueden hacer, si quieren, el trabajo integrador implementando un auto-encoder con una red convoluicional, para aprender la base de datos MNIST o la que quieran. Pero esto no es obligatorio. Si tienen inquietudes o consultas, no dudan en escribirme.

DÍAS Y HORAS

    Jueves y viernes (aunque no todos) de 17:00 hs a 21:00 hs. Va una lista inicial que puede sufrir modificaciones.
  • 1.- Jueves 15 de agosto
  • 2.- Viernes 16 de agosto
  • 3.- Jueves 22 de agosto
  • 4.- Viernes 23 de agosto
  • 5.- Jueves 29 de agosto
  • 6.- Viernes 30 de agosto
  • 7.- Jueves 19 de septiembre
  • 8.- Viernes 20 de septiembre
  • 9.- Jueves 10 de octubre
  • 10.- Viernes 11 de octubre
  • 11.- Jueves 11 de octubre
  • 12.- Viernes 1 de noviembre
  • 13.- Jueves 7 de noviembre
  • 14.- Viernes 8 de noviembre
  • 15.- Jueves 14 de noviembre
  • 16.- Viernes 15 de noviembre

PROGRAMA


PRÁCTICOS


VITÁCORA, PIZARRONES Y MATERIALES EXTRAS

  • Primera clase
    Jueves 18 de agosto de 2019
    Contenidos: Qué son los sistemas dinámicos. Un poco de historia. El concepto de ecuación diferencial. Orden de las ecuaciones diferenciales. Sistemas de ecuaciones diferenciales. Sistemas autónomos.
    Sistemas unidimensionales o flujo en la línea. Interpretación geométrica. Atractores y cuencas de atractores. Atractores estables e inestables. Análisis lineal de la estabilidad.
    Primer pizarrón electrónico

  • Segunda clase
    Viernes 9 de agosto de 2019
    Contenidos: Seminario de Nicolás Unsain (ver videos de Nicolás).
    El ejemplo de la dinámica poblacional. La ecuación logística. El teorema de exitencia y unicidad. Un ejemplo y ejercicio para resolver. Puntos fijos más sofisticados. El concepto de potencial y su interpretación geométrica. El aporte de la física estadística al aprendizaje automático. La analogía entre cerebros y vidrios, y el rol de las interacciones.
    Segundo pizarrón electrónico
    Primer pizarrón de tiza de Nicolás Unsain
    Segundo pizarrón de tiza de Nicolás Unsain
    Ver videos de Nicolás.

  • Tercera clase
    Jueves 22 de agosto de 2019
    Contenidos: Bifurcaciones en una dimiensión. El concepto de bifurcación. Bifurcación; saddle-node. Construcción gráfica del diagragma de bifurcación. Terminología y ejemplos. Formas normales y la idea de universalidad en las bifurcaciones. Su análogo con las trasnsiciones de fase en la naturaleza. Bifurcacioens transcríticas. Ejemplos. Bifurcaciones Pitchfork. Bifurcaciones Pitchfork supercríticas y subcríticas. Diagtamas de bifurcaciones y ejemplos. Trasiciones de fase continuas y discuntinuas. Explicación de la hiséresis. Catástrofes. Integración numérica del problema de valor inicial. Método de Euler, de Euler modificado y Runge Kutta de cuarto orden.
    Tercer pizarrón electrónico

  • Cuarta clase
    Viernes 23 de agosto de 2019
    Contenidos: Charla de Andrés Ilcic (ver PDF)
    Sistemas bidimensionales. Dos ecuaciones diferenciales ordinarias acopladas no lineales. El concepto de espacio de fases. El teorema de existencia y unicidad del problema de valor inicial bidimensional. Análisis de estabalidad lineal. Linealización de sistemas multidimensionales. Estudio de los sistemas lineales como método de clasificación de los puntos fijos. El caso de sistemas desacoplados y el edudio de todos los posibles puntos fijos. Clasificación de puntos fijos para el caso desacoplado. El caso más general. El jacobiano. Autovalores y autovectores del jacobiano y su interpretación en términos de la estabilidad lineal. Clasificación de todos los posibles puntos fijos de un sistema bidimensional lineal. Atractores, repulsores, puntos de ensilladura (saddle-nodes) y centros. La transformación de los centros en órbitas cerradas y su inerpretación en términos de oscilaciones.
    Cuarto pizarrón electrónico

  • Quinta clase
    Jueves 29 de agosto de 2019
    Contenidos: Charla de Mariano Barsotti
    Sistemas bidimensionales parte 2. Un ejemplo: las ecuaciones de Lotka-Volterre. El caso de dos especies compitiendo por un mismo recurso. Puntos fijos. Linealización. El Jacobiano. Autovalores y autovectores para cada punto fijo. Diagrama de flujo en 2 dimensiones. Interpretaci&ocute;n biológica. Sistemas conservativos. El concepto de energía potencial. Conservación de la energía. El ejemplo de una partícula en un potencial cuártico. La interpretación geométrica de la gráfica de la energía. Centros lineales. Teorema. Reversibilidad. Ciclos limímites en la presencia de no-linealidades. Ciclos l&iacutre;mites estables, inestables y mixtos.
    Quinto pizarrón electrónico
    Charla de Damián
    Minería de datos UBA
    Universo digital 2020
    Big data y e la electrónica del futuro
    Aprendizaje profundo con Apache Spark (parte 1)

  • Sexta clase
    Viernes 30 de agosto de 2019
    Contenidos: Charla de Cecilia Defagó
    Sistemas Tridimensionales. La aparición de caos. Un caso particular e histórico: el atractor de Lorenz. Las ecuaciones de Lorenz. Puntos fijos. Estabilidad del origen. Estabalidad global del origen. Bifurcación y aparcición de C+ y C-. Diagrama de bifurcaciones. Trajectorias caóticas. Definición de caos. Definicón de atractos caótico. El caso de caos en el mapa logínstico unidimensional. El conjunto de Mandelbrot. Fractales. Dimensión Hausdorff.
    Sexto pizarrón electrónico
    Presentación de Cecilia Defagó
    Artículo de Cecilia Defagó

  • Séptima clase
    Jueves 19 de septiembre de 2019
    Contenidos: Modelado de neuronas usando sistemas dinámicos. El modelo Integrate-and-Fire. El modelo de Hodgkin y Huxley.
    Séptimo pizarrón electrónico. Parte I
    Séptimo pizarrón electrónico. Parte II
    Hodgkin and Huxley
    Lamberti y Rodríguez


  • Octava clase
    Viernes 20 de septiembre de 2019
    Contenidos: neuronas articiales simples. El concepto de red neuronal. Arqutiecturas básicas: feed-forwdard y recurrentes. El problema de memoria asociativa. El modelo de Hopfield. El caso de una única configuración almacenada. Esto se da del libro de Hertz y colaboradores.
    Octavo pizarrón electrónico


  • Novena clase
    Jueves 10 de octubre de 2019
    Contenidos: La regla de Hopfield para las sinapsis en el caso de un número arbitrario de memorias. Análisis de la estabilidad. Un pseudo--código para avanzar en el práctico 3. Esto se da del libro de Hertz y colaboradores.
    Noveno pizarrón electrónico
    Un posible pseudo código para el práctico


  • Décima clase
    Viernes 11 de octubre de 2019
    Contenidos: El modelo de Hopfield a partir de la función energía. Descenso de la energía. Mínimos espurios. Neuronas aleatorias. Valor medio del estado de una neurona. Promedios temporales. Cálculo de las soluciones para un número finito de memorias en el límite en que el número de neuronas tiende a infinito. Promedio sobre el desorden (sobre las memorias aleatorias). Autopromediación. Las soluciones de reconocimiento y las soluciones de confusión. El parámetro m en función de T. Deducción de las ecuaciones. El caso en que p y N tienden a infinito pero p/N se mantiene constante. Descripción de las ecuaciones. Descripción del diagrama de fases en función de T y p/N. Esto se da del libro de Hertz y colaboradores.
    Décimo pizarrón electrónico (Parte I)
    Décimo pizarrón electrónico (Parte II)


  • Undécima clase
    Jueves 31 de octubre de 2019
    Contenidos: Charla de Orlando Billoni y Juan Perotti.
    Aprendizaje automático con redes neuronales. El paradigma de aprendizaje. Diferentes problemas: regresión versus clasificación. Métodos estadísticos, evolutivos y neuronales. Aprendizaje supervisado. Su diferencia con el aprendizaje no supervisado y con refuerzo. Redes feed-forward. El perceptron de una capa. Su definici&oacunte;n. El perceptron simple y la forma de desacoplar un perceptron de una capa. El caso binario: el función signo como función de activación. El problema de aprender una red para clasificar. Separabilidad lineal. Interpretación geom&eaute;trina (no geográfica) del problema. Ejemplos: la función and y la función XOR. Un algoritmo para aprender a clasificar: la regla de aprendizaje del perceptron simple. Robustez. Grado de dificultad del problema. Solución óptima. El teorema de convergencia de la regrla del perceptron (que no se demostró).
    Undécimo pizarrón electrónico
    Charla de Orlando Billoni
    Charla de Juan Perotti
    Video red libre de escala

  • Duodécima clase
    Viernes 1 de noviembre de 2019
    Contenidos: Charla de Patricia Kisbye
    La diferencia entre ocnstruir una red para clasificar, por un lado, y para extrapolar un resultado, por otro. El perceptrón simple con una neurona lineal de salida. La solución de la pseudo-inversa. Condiciones para la existencia de solución. El método de descenso por el gradiente para econtrar los pesos sinápticos. La función de costo cuadrática. El concepto de gradiente. La regla ADALINE o Delta. El parámetro de aprendizaje. El Perceptron simple con una neurona de salida no lineal. Ejemplos de funciones de activación no lieneales. La tangente hiperbólica y la sigmoide. Descenso por el gradiente en este caso. Funciones de costo alternativas: la función entropía relativa. La forma de la función costo y los mínimos locales. El uso de neuronas aleatorias en el entrenamiento del perceptron. El perceptron multi capas. Notaciones. El método de back-propagation en el caso de dos capas (M=2). Su generalización al caso de M mayor a dos. Resumen del algoritamo. El método del momento para mejorar el aprendizaje. Métodos adaptataivos para definir el parámetro de aprendizaje. Aplicaciones. La función XOR. La función paridad. El auto-codificador (autoenconder). El toorema universal de la aproximación (no lo demostramos). Otros métodos de aproximación al mínimo de la función de costo.
    Duodécimo pizarrón electrónico. Parte 1
    Duodécimo pizarrón electrónico. Parte 2
    Charla de Patricia Kisbye

  • Décimotercera clase
    Jueves 7 de noviembre de 2019
    Contenidos: Charla de Élmer Fernández
    Máquina de Boltzmann.
    Décimotercer pizarrón electrónico.
    Teórico de Élmer Fernández
    Ponencia de Élmer Fernández

  • Décimocuarta clase
    Viernes 8 de noviembre de 2019
    Contenidos: Charla de Dante Chialvo
    Charla de Dante Chialvo
    Coloquio de Dante Chialvo en IFEG
    Un paper de Dante Chialvo en español
    Un paper de Dante Chialvo en inglés

  • Décimoquinta clase
    Jueves 14 de noviembre de 2019
    Contenidos: Charla de Diego Evin
    Porqué es difícil entrenar redes profundas. La supresión del gradiente. Deep belief networks. La función de activación ReLU. La máquina de Boltzmann restringida (RBM). Redes neuronales convolucionales.
    Charla de Diego Evin
    Capítulo 5 de libro de Michael Nielsen

  • Décimosexta clase
    Viernes 15 de noviembre de 2019
    Contenidos: Charla de Juan Porta
    Redes neuronales recurrentes. Aprendizaje no supervisado.
    Charla de Juan Porta

  • Los textos en rojo no se dictaron por falta de tiempo pero se espera que los alumnos y alumnas los estudien y repasen del libro.

ALCANCE

    El curso fue reconocido como:
  • Optativa de la Licenciatura en Cs. de la Computación de FAMAF
  • Especialidad de la Licenciatura en Física de FAMAF
  • Especialidad de la Licenciatura en Matemática de FAMAF
  • Curso de posgrado del Doctorado en Cs. de la Computación de FAMAF
  • Curso de posgrado del Doctorado en Física de FAMAF
  • Curso de posgrado del Doctorado en Neurociencias de la UNC
    Los alumnos y alumnas de otros doctorados que admitan cursos externos pueden inscribirse en FAMAF y luego, cuando lo aprueben, recibirán un certificado, con mi CV y el programa para que puedan pedir el eventual reconocimiento.
    Otras modalidades:
  • Si terminastes 4to año completo de tu carrera de FAMAF podés inscribirte como alumno avanzado, y cuando te recibas podrás pedir que se reconozca como curso de posgrado.
  • Si sos alumna o alumno de grado de FAMAF o de cualquier carrra de grado de la UNC o de otra Universidad y tenés más de un tercio de las materias aprobadas, podés anotarte como alumno/a vocacional en el Despacho de Alumnos de FAMAF entre el 5 y el 16 de agosto de 2019.
  • Si todo falla, siempre podés cursarla como oyente. En este caso, por favor avisame por mail. Si rendís y aprobás la materia, te daremos un certificado.

INSCRIPCIÓN

    Si sos alumno/a de grado
  • Si sos alumno de grado de Cs. de la Computación de FAMAF, tenés que inscribirte por GUARANÍ desde el 5 al 16 de agosto. Tendrás que satisfacer las correlatividades. Ante cualquier duda o problema podés consultar personalmente en despacho de alumnos o por mail a la cuenta ignaciobadano@unc.edu.ar.
  • Si sos alumno de grado de Física o Matemática de FAMAF, tenés que inscribirte PERSONALMENTE EN DESPACHO DE ALUMNOS desde el 5 al 16 de agosto. Tendrás que satisfacer las correlatividades. Ante cualquier duda o problema podés consultar personalmente en despacho de alumnos o por mail a la cuenta ignaciobadano@unc.edu.ar.
  • Si sos alumno de grado de otras carreras de grado de FAMAF o de otra Facultad o Universidad, consultá personalmente o por mail en despacho de alumnos de FAMAF (ignaciobadano@unc.edu.ar).
  • Si tenés más de 30% de una carrera de grado de FAMAF o de otra carrera de grado de la UNC o de otra Universidad, podés inscribirte como alumno vocacional personalmente en despacho de alumnos de FAMAF de 9.00 hs a 14.00 hs o de 16.00 hs a 18.00 hs, o solicitarlo por medio de un mensaje electrónico a la cuenta ignaciobadano@unc.edu.ar entre el 5 y el 16 de agosto. Si llegás tarde, consultá si podés inscribirte fuera de término.
  • Si sos estudiante de grado de FAMAF y has rendido todas las materias de la carrera hasta cuarto año incluido, podés anotarte como ALUMNO AVANZADO en la Secretaría de Posgrado de FAMAF o consultar a codepo@famaf.unc.edu.ar.
  • Si sos alumno de grado no avanzado, de cualquier carrera de cualquier facultad de cualquier universidad, podés tomar el curso y si lo aprobás te haremos un certificado de aprobación /li>
    Si sos alumno/a de posgrado
  • Si sos estudiante del Doctorado en Neurociencias, debés inscribirte en la Secretaría de Posgrado de la Facultad de Ciencias Químicas (de 14.00 hs a 16.00 hs) o por mail a cursos@dnc.unc.edu.ar.
  • Si sos estudiante del Doctorado en Ciencias de la Computación o del Doctorado en Física, debés inscribirte en la Secretaría de Posgrado de FAMAF de 10.00 hs a 14.00 hs o consultar en codepo@famaf.unc.edu.ar.
  • Si sos alumno de posgrado de cualquier otra carrera de posgrado de la UNC o de otra universidad, podrás anotarte también en la Oficina de Posgrado de FAMAF codepo@famaf.unc.edu.ar o en el Doctorado en Neurociencias cursos@dnc.unc.edu.ar (Facultad de Cs. Químicas de la UNC).
    Si no
  • Si no cumplís ninguna de estas condiciones y querés asistir al curso, no hay problema. Solo te pido que me avises.

BIBLIOGRAFÍA BÁSICA

  • Los apuntes de clase que tomarán los estudiantes.
  • Strogatz S.H., "Nonlinear dynamics and chaos" Addison-Wesley Publishing Company (1994).
  • Dayan P. and L. Abbott, "Theoretical neuroscience: computational and mathematical modeling of neural systems", MIT Press (2001).
  • T.M. Mitchell, "Machine Learning" McGraw-Hill (1997).
  • J. Hertz, A. Krogh and R.G Palmer, "Introduction to the theory of neural computation", Santa Fe Institute (1991).

BIBLIOGRAFÍA COMPLEMENTARIA

  • Izhikevich E.M., "Dynamical systems in neuroscience: the geometry of excitability and bursting", MIT Press (2006).
  • Rieke F., Warland D., de Tuyter van Steveninck R. and Bialek W., "Spikes: exploring the neural code", MIT Press (1999).
  • MacKay D.J.C., "Information theory, inference and learning algorithms", Cambridge University Press, (2003).
  • Hstie T., Tibshirani R. and Fiedman J, "The elements of statistical learning, data mining, inference and prediction", Springer Verlag (2001).

SEMINARIOS

    Durante el curso se invitará a docentes de la UNC para que dicten charlas de una hora a los fines de compartir conocimientos y experiencias. Se definirán a fin de agosto.
  • Dr. Nicolás Unsain
    Viernes 16 de agosto 17:00 hs
    Todo lo que querís saber sobre las neuronas y el sistema nervioso y nunca te animaste a preguntar
  • Lic. Andrés Ilcic
    Viernes 23 de agosto 17:00 hs
    Historia y filosofía de la inteligencia artificial (ver PDF)
  • Dr. Damián Barsotti
    Sección Computación, FAMAF, UNC
    Jueves 29 de agosto 17:00 hs
    ¿Qué es Big Data?
  • Dra. Cecilia Defagó
    Viernes 30 de agosto 17:00 hs
    Escuela de Letras, FFyH, UNC
    ¿Cómo funcional el lenguaje?
  • Dr. Orlando Billoni y Dr. Juan Perotti
    Jueves 30 de octubre a las 17:00 hs
    Introducción a las redes complejas
  • Dra. Patricia Kisbye
    Viernes 1 de noviembre a las 17:00 hs
    Introducción al estudio de series temporales
    ¿Cómo funcional el lenguaje?
  • Dr. Elmer Fernándezi
    Jueves 7 de noviembre 17:00 hs
  • Support Vector Machine
  • Dr. Dante Chialvo
    Viernes 8 de noviembre 17:00 hs
    Qué es la complejidad y porqué nos interesa entenderla en la neurociencia
  • Dr. Diego Evin
    Jueves 15 de noviembre de 2019 a las 19 hs.
    Redes neuronales produndas en el reconocimiento del habla
  • Lic. Juan Porta
    Viernes 16 de noviembre a las 17 hs.
    Una aplicación de redes neuronales convolucionales a la medicina y su implementación

CONSULTAS

  • Para consultarme a mi, escribime a tamarit.fa@gmail.com o buscame en la Oficina 215 de FAMAF.
  • Para consultar en la sede administrativa del Doctorado en Neurociencias, escribí a cursos@dnc.unc.edu.ar.
  • Para consultar en la sede de la Oficina de Posgrado de FAMAF, dirigite por mail a la dirección de correo electrónico codepo@famaf.unc.edu.ar.

Facultad de Matemática, Astronomía, Física y Computación

Universidad Nacional de Córdoba


Haya de la Torre esq. Medina Allende
Ciudad Universitaria
5000 Córdoba
Argentina
Teléfono: +54  (0351)   4334051
Email: tamarit.fa@gmail.com