REDES NEURONALES
Segundo semestre de 2019
Facultad de Matemática, Astronomía,
Física y Computación
Universidad Nacional de Córdoba
PROFESOR
AULA
Aula 27 en el segundo piso de FAMAF
EXÁMENES
Entre diciembre y marzo hay cuatro fechas con mesas de examen, en la
cual pueden rendir como regulares o como libres. Las fechas son:
- Viernes 6 de diciembre.
- Viernes 20 de diciembre.
- Viernes 14 de febrero.
- Martes 3 de marzo.
El examen comenzará a las 9.00 hs pero para quienes trabajan
habrán posibilidad de rendir por la tarde, el mismo día
del examen.
Les pido que me escriban un correo electrónico
avisándome en cuál fecha van a rendir.
Una semana antes del examen, deben haber completado todos los
prácticos (1, 2, 3 y 4), con su respectivo informe, en
formato pdf, y deben enviármelo por correo electrónico..
Una semana antes también tienen que informarme y acordar
conmigo el tema del trabajo integrador, por mail.
El día del examen deben presentarse personalmente, traer
el trabajo integrador y su propia computadora, y en media hora
deberán explicarlo y deferderlo, en mi oficina o donde
yo les avise.
Pueden hacer, si quieren, el trabajo integrador implementando
un auto-encoder con una red convoluicional, para aprender
la base de datos MNIST o la que quieran. Pero esto no es obligatorio.
Si tienen inquietudes o consultas, no dudan en escribirme.
DÍAS Y HORAS
Jueves y viernes (aunque no todos) de 17:00 hs a 21:00 hs. Va una lista
inicial que puede sufrir modificaciones.
-
1.- Jueves 15 de agosto
-
2.- Viernes 16 de agosto
-
3.- Jueves 22 de agosto
-
4.- Viernes 23 de agosto
-
5.- Jueves 29 de agosto
-
6.- Viernes 30 de agosto
-
7.- Jueves 19 de septiembre
-
8.- Viernes 20 de septiembre
-
9.- Jueves 10 de octubre
-
10.- Viernes 11 de octubre
-
11.- Jueves 11 de octubre
-
12.- Viernes 1 de noviembre
-
13.- Jueves 7 de noviembre
-
14.- Viernes 8 de noviembre
-
15.- Jueves 14 de noviembre
-
16.- Viernes 15 de noviembre
PROGRAMA
PRÁCTICOS
VITÁCORA, PIZARRONES Y MATERIALES EXTRAS
- Primera clase
Jueves 18 de agosto de 2019
Contenidos: Qué son los sistemas dinámicos.
Un poco de historia. El concepto de ecuación diferencial.
Orden de las ecuaciones diferenciales. Sistemas de ecuaciones
diferenciales. Sistemas autónomos.
Sistemas unidimensionales o flujo en la línea.
Interpretación geométrica. Atractores y cuencas
de atractores. Atractores estables e inestables. Análisis
lineal de la estabilidad.
Primer pizarrón electrónico
- Segunda clase
Viernes 9 de agosto de 2019
Contenidos: Seminario de Nicolás Unsain
(ver videos de Nicolás).
El ejemplo de la dinámica
poblacional. La ecuación logística.
El teorema de exitencia y unicidad. Un ejemplo y ejercicio
para resolver. Puntos fijos más sofisticados.
El concepto de potencial y su interpretación
geométrica. El aporte de la física estadística
al aprendizaje automático. La analogía entre
cerebros y vidrios, y el rol de las interacciones.
Segundo pizarrón electrónico
Primer pizarrón de tiza de Nicolás Unsain
Segundo pizarrón de tiza de Nicolás Unsain
Ver videos de Nicolás.
- Tercera clase
Jueves 22 de agosto de 2019
Contenidos: Bifurcaciones en una dimiensión.
El concepto de bifurcación. Bifurcación; saddle-node.
Construcción gráfica del diagragma de
bifurcación. Terminología y ejemplos.
Formas normales y la idea de universalidad en las
bifurcaciones. Su análogo con las trasnsiciones de
fase en la naturaleza. Bifurcacioens transcríticas.
Ejemplos.
Bifurcaciones Pitchfork. Bifurcaciones Pitchfork
supercríticas y subcríticas. Diagtamas de
bifurcaciones y ejemplos. Trasiciones de fase continuas
y discuntinuas. Explicación de la hiséresis.
Catástrofes. Integración
numérica del problema de valor inicial. Método de
Euler, de Euler modificado y Runge Kutta de cuarto orden.
Tercer pizarrón electrónico
- Cuarta clase
Viernes 23 de agosto de 2019
Contenidos: Charla de Andrés Ilcic
(ver PDF)
Sistemas bidimensionales. Dos ecuaciones diferenciales
ordinarias acopladas no lineales. El concepto de espacio de fases.
El teorema de existencia y unicidad del problema de valor inicial
bidimensional. Análisis de estabalidad lineal. Linealización
de sistemas multidimensionales. Estudio de los sistemas lineales como
método de clasificación de los puntos fijos.
El caso de sistemas desacoplados y el edudio de todos
los posibles puntos fijos. Clasificación de puntos fijos para
el caso desacoplado. El caso más general. El jacobiano.
Autovalores y autovectores del jacobiano y su interpretación
en términos de la estabilidad lineal. Clasificación de
todos los posibles puntos fijos de un sistema bidimensional lineal.
Atractores, repulsores, puntos de ensilladura (saddle-nodes) y
centros. La transformación de los centros en órbitas
cerradas y su inerpretación en términos de
oscilaciones.
Cuarto pizarrón electrónico
- Quinta clase
Jueves 29 de agosto de 2019
Contenidos: Charla de Mariano Barsotti
Sistemas bidimensionales parte 2.
Un ejemplo: las ecuaciones de Lotka-Volterre. El caso
de dos especies compitiendo por un mismo recurso.
Puntos fijos. Linealización. El Jacobiano.
Autovalores y autovectores para cada punto fijo.
Diagrama de flujo en 2 dimensiones. Interpretaci&ocute;n
biológica. Sistemas conservativos. El concepto
de energía potencial. Conservación de la
energía. El ejemplo de una partícula en un
potencial cuártico. La interpretación
geométrica de la gráfica de la energía.
Centros lineales. Teorema. Reversibilidad. Ciclos
limímites en la presencia de no-linealidades.
Ciclos l&iacutre;mites estables, inestables y mixtos.
Quinto pizarrón electrónico
Charla de Damián
Minería de datos UBA
Universo digital 2020
Big data y e la electrónica del futuro
Aprendizaje profundo con Apache Spark (parte 1)
- Sexta clase
Viernes 30 de agosto de 2019
Contenidos: Charla de Cecilia Defagó
Sistemas Tridimensionales. La aparición de caos.
Un caso particular e histórico: el atractor de Lorenz.
Las ecuaciones de Lorenz. Puntos fijos. Estabilidad del
origen. Estabalidad global del origen. Bifurcación
y aparcición de C+ y C-. Diagrama de bifurcaciones.
Trajectorias caóticas. Definición de caos.
Definicón de atractos caótico. El caso de
caos en el mapa logínstico unidimensional.
El conjunto de
Mandelbrot. Fractales. Dimensión Hausdorff.
Sexto pizarrón electrónico
Presentación de Cecilia Defagó
Artículo de Cecilia Defagó
- Séptima clase
Jueves 19 de septiembre de 2019
Contenidos: Modelado de neuronas usando sistemas
dinámicos. El modelo Integrate-and-Fire. El modelo
de Hodgkin y Huxley.
Séptimo pizarrón electrónico. Parte I
Séptimo pizarrón electrónico. Parte II
Hodgkin and Huxley
Lamberti y Rodríguez
- Octava clase
Viernes 20 de septiembre de 2019
Contenidos: neuronas articiales simples. El concepto de red neuronal.
Arqutiecturas básicas: feed-forwdard y recurrentes. El problema de
memoria asociativa. El modelo de Hopfield. El caso de una única
configuración almacenada. Esto se da del libro de Hertz y colaboradores.
Octavo pizarrón electrónico
- Novena clase
Jueves 10 de octubre de 2019
Contenidos: La regla de Hopfield para las sinapsis
en el caso de un número arbitrario de memorias.
Análisis de la estabilidad. Un pseudo--código
para avanzar en el práctico 3.
Esto se da del libro de Hertz y colaboradores.
Noveno pizarrón electrónico
Un posible pseudo código para el práctico
- Décima clase
Viernes 11 de octubre de 2019
Contenidos: El modelo de Hopfield a partir de la
función energía. Descenso de la energía.
Mínimos espurios. Neuronas aleatorias. Valor medio del
estado de una neurona. Promedios temporales. Cálculo
de las soluciones para un número finito de memorias
en el límite en que el número de neuronas
tiende a infinito. Promedio sobre el desorden (sobre las
memorias aleatorias). Autopromediación. Las
soluciones de reconocimiento y las soluciones de
confusión. El parámetro m en
función de T. Deducción de las
ecuaciones. El caso en que p y N tienden a infinito
pero p/N se mantiene constante. Descripción de las
ecuaciones. Descripción del diagrama de fases
en función de T y p/N.
Esto se da del libro de Hertz y colaboradores.
Décimo pizarrón electrónico (Parte I)
Décimo pizarrón electrónico (Parte II)
- Undécima clase
Jueves 31 de octubre de 2019
Contenidos: Charla de Orlando Billoni y Juan Perotti.
Aprendizaje automático con redes neuronales.
El paradigma de aprendizaje. Diferentes problemas: regresión
versus clasificación. Métodos estadísticos,
evolutivos y neuronales. Aprendizaje supervisado. Su diferencia con
el aprendizaje no supervisado y con refuerzo. Redes feed-forward.
El perceptron de una capa. Su definici&oacunte;n. El perceptron
simple y la forma de desacoplar un perceptron de una capa. El caso
binario: el función signo como función de activación.
El problema de aprender una red para clasificar. Separabilidad
lineal. Interpretación geom&eaute;trina (no geográfica)
del problema. Ejemplos: la función and y la función
XOR. Un algoritmo para aprender a clasificar: la regla de
aprendizaje del perceptron simple. Robustez. Grado de dificultad del
problema. Solución óptima. El teorema de convergencia
de la regrla del perceptron (que no se demostró).
Undécimo pizarrón electrónico
Charla de Orlando Billoni
Charla de Juan Perotti
Video red libre de escala
- Duodécima clase
Viernes 1 de noviembre de 2019
Contenidos: Charla de Patricia Kisbye
La diferencia entre ocnstruir una red para clasificar, por un
lado, y para extrapolar un resultado, por otro.
El perceptrón simple con una neurona lineal de salida.
La solución de la pseudo-inversa. Condiciones para la
existencia de solución. El método de descenso por
el gradiente para econtrar los pesos sinápticos. La
función de costo cuadrática. El concepto de gradiente.
La regla ADALINE o Delta. El parámetro de aprendizaje.
El Perceptron simple con una neurona de salida no lineal.
Ejemplos de funciones de activación no lieneales.
La tangente hiperbólica y la sigmoide. Descenso por
el gradiente en este caso. Funciones de costo alternativas:
la función entropía relativa. La forma de la
función costo y los mínimos locales. El uso
de neuronas aleatorias en el entrenamiento del perceptron.
El perceptron multi capas. Notaciones. El método de
back-propagation en el caso de dos capas (M=2). Su
generalización al caso de M mayor a dos.
Resumen del algoritamo. El método del momento para
mejorar el aprendizaje. Métodos adaptataivos para
definir el parámetro de aprendizaje. Aplicaciones.
La función XOR. La función paridad. El
auto-codificador (autoenconder). El toorema universal de la
aproximación (no lo demostramos).
Otros métodos de aproximación al mínimo
de la función de costo.
Duodécimo pizarrón electrónico. Parte 1
Duodécimo pizarrón electrónico. Parte 2
Charla de Patricia Kisbye
- Décimotercera clase
Jueves 7 de noviembre de 2019
Contenidos: Charla de Élmer Fernández
Máquina de Boltzmann.
Décimotercer pizarrón electrónico.
Teórico de Élmer Fernández
Ponencia de Élmer Fernández
- Décimocuarta clase
Viernes 8 de noviembre de 2019
Contenidos: Charla de Dante Chialvo
Charla de Dante Chialvo
Coloquio de Dante Chialvo en IFEG
Un paper de Dante Chialvo en español
Un paper de Dante Chialvo en inglés
- Décimoquinta clase
Jueves 14 de noviembre de 2019
Contenidos: Charla de Diego Evin
Porqué es difícil entrenar redes profundas.
La supresión del gradiente. Deep belief networks.
La función de activación ReLU. La máquina
de Boltzmann restringida (RBM). Redes neuronales convolucionales.
Charla de Diego Evin
Capítulo 5 de libro de Michael Nielsen
- Décimosexta clase
Viernes 15 de noviembre de 2019
Contenidos: Charla de Juan Porta
Redes neuronales recurrentes. Aprendizaje no supervisado.
Charla de Juan Porta
Los textos en rojo no se dictaron por falta de tiempo pero se
espera que los alumnos y alumnas los estudien y repasen del libro.
ALCANCE
El curso fue reconocido como:
- Optativa de la Licenciatura en Cs. de la Computación
de FAMAF
- Especialidad de la Licenciatura en Física de FAMAF
- Especialidad de la Licenciatura en Matemática de FAMAF
- Curso de posgrado del Doctorado en Cs. de la Computación
de FAMAF
- Curso de posgrado del Doctorado en Física de FAMAF
- Curso de posgrado del Doctorado en Neurociencias de la UNC
Los alumnos y alumnas de otros doctorados que admitan cursos externos pueden
inscribirse en FAMAF y luego, cuando lo aprueben, recibirán un
certificado, con mi CV y el programa para que puedan pedir el eventual
reconocimiento.
- Si terminastes 4to año completo de tu carrera de
FAMAF podés inscribirte como alumno avanzado, y
cuando te recibas podrás pedir que se reconozca como
curso de posgrado.
- Si sos alumna o alumno de grado de FAMAF o de cualquier
carrra de grado de la UNC o de otra Universidad y
tenés más de un tercio de las materias aprobadas,
podés anotarte como alumno/a vocacional en el
Despacho de Alumnos de FAMAF entre el 5 y el 16 de agosto de 2019.
- Si todo falla, siempre podés cursarla como oyente.
En este caso, por favor avisame por mail. Si rendís y
aprobás la materia, te daremos un certificado.
INSCRIPCIÓN
- Si sos alumno de grado de Cs. de la Computación de FAMAF,
tenés que inscribirte por GUARANÍ desde el 5 al 16
de agosto. Tendrás que satisfacer las correlatividades.
Ante cualquier duda o problema podés consultar personalmente
en despacho de alumnos o por mail a la cuenta
ignaciobadano@unc.edu.ar.
- Si sos alumno de grado de Física o Matemática de
FAMAF, tenés que inscribirte PERSONALMENTE EN DESPACHO DE
ALUMNOS desde el 5 al 16
de agosto. Tendrás que satisfacer las correlatividades.
Ante cualquier duda o problema podés consultar personalmente en
despacho de alumnos o por mail a la cuenta
ignaciobadano@unc.edu.ar.
- Si sos alumno de grado de otras carreras de grado de FAMAF o de otra
Facultad o Universidad, consultá personalmente o por mail en
despacho de alumnos de FAMAF
(ignaciobadano@unc.edu.ar).
- Si tenés más de 30% de una carrera de grado de FAMAF
o de otra carrera de grado de la UNC o de otra Universidad,
podés inscribirte como alumno vocacional personalmente
en despacho de alumnos de FAMAF de 9.00 hs a 14.00 hs o
de 16.00 hs a 18.00 hs, o solicitarlo por medio de un
mensaje electrónico a la cuenta
ignaciobadano@unc.edu.ar
entre el 5 y el 16 de agosto.
Si llegás tarde, consultá si podés
inscribirte fuera de término.
- Si sos estudiante de grado de FAMAF y has rendido
todas las materias de la carrera hasta cuarto año incluido,
podés anotarte como ALUMNO AVANZADO en la Secretaría de
Posgrado de FAMAF o consultar a
codepo@famaf.unc.edu.ar.
- Si sos alumno de grado no avanzado, de cualquier carrera de
cualquier facultad de cualquier universidad, podés tomar
el curso y si lo aprobás te haremos un certificado de
aprobación /li>
Si sos alumno/a de posgrado
- Si sos estudiante del Doctorado en Neurociencias,
debés inscribirte en la Secretaría de Posgrado de la
Facultad de Ciencias Químicas (de 14.00 hs a 16.00 hs)
o por mail a
cursos@dnc.unc.edu.ar.
- Si sos estudiante del Doctorado en Ciencias de
la Computación o del Doctorado en Física, debés inscribirte
en la Secretaría de Posgrado de FAMAF de 10.00 hs a 14.00 hs
o consultar en
codepo@famaf.unc.edu.ar.
- Si sos alumno de posgrado de cualquier otra carrera de posgrado
de la UNC o de otra universidad, podrás anotarte también
en la Oficina de Posgrado de FAMAF
codepo@famaf.unc.edu.ar
o en el Doctorado en
Neurociencias
cursos@dnc.unc.edu.ar
(Facultad de Cs. Químicas de la UNC).
- Si no cumplís ninguna de estas condiciones y querés
asistir al curso, no hay problema. Solo te pido que me avises.
BIBLIOGRAFÍA BÁSICA
- Los apuntes de clase que tomarán los estudiantes.
- Strogatz S.H., "Nonlinear dynamics and chaos"
Addison-Wesley Publishing Company (1994).
- Dayan P. and L. Abbott, "Theoretical neuroscience:
computational and mathematical modeling of neural systems",
MIT Press (2001).
- T.M. Mitchell, "Machine Learning"
McGraw-Hill (1997).
- J. Hertz, A. Krogh and R.G Palmer, "Introduction to the
theory of neural computation", Santa Fe Institute (1991).
BIBLIOGRAFÍA COMPLEMENTARIA
- Izhikevich E.M., "Dynamical systems in neuroscience:
the geometry of excitability and bursting",
MIT Press (2006).
- Rieke F., Warland D., de Tuyter van Steveninck R. and Bialek W.,
"Spikes: exploring the neural code",
MIT Press (1999).
- MacKay D.J.C., "Information theory, inference and
learning algorithms", Cambridge University Press, (2003).
- Hstie T., Tibshirani R. and Fiedman J, "The elements of
statistical learning, data mining, inference and prediction",
Springer Verlag (2001).
SEMINARIOS
Durante el curso se invitará a docentes de la UNC para
que dicten charlas de una hora a los fines de compartir
conocimientos y experiencias. Se definirán a fin de agosto.
- Dr. Nicolás Unsain
Viernes 16 de agosto 17:00 hs
Todo lo que querís saber sobre las neuronas y el
sistema nervioso y nunca te animaste a preguntar
- Lic. Andrés Ilcic
Viernes 23 de agosto 17:00 hs
Historia y filosofía de la inteligencia
artificial
(ver PDF)
- Dr. Damián Barsotti
Sección Computación, FAMAF, UNC
Jueves 29 de agosto 17:00 hs
¿Qué es Big Data?
- Dra. Cecilia Defagó
Viernes 30 de agosto 17:00 hs
Escuela de Letras, FFyH, UNC
¿Cómo funcional el lenguaje?
- Dr. Orlando Billoni y Dr. Juan
Perotti
Jueves 30 de octubre a las 17:00 hs
Introducción a las redes complejas
- Dra. Patricia Kisbye
Viernes 1 de noviembre a las 17:00 hs
Introducción al estudio de series temporales
¿Cómo funcional el lenguaje?
- Dr. Elmer Fernándezi
Jueves 7 de noviembre 17:00 hs
Support Vector Machine
- Dr. Dante Chialvo
Viernes 8 de noviembre 17:00 hs
Qué es la complejidad y porqué
nos interesa entenderla en la neurociencia
- Dr. Diego Evin
Jueves 15 de noviembre de 2019 a las 19 hs.
Redes neuronales produndas en el reconocimiento del
habla
- Lic. Juan Porta
Viernes 16 de noviembre a las 17 hs.
Una aplicación de redes neuronales convolucionales a la
medicina y su implementación
CONSULTAS
- Para consultarme a mi, escribime a
tamarit.fa@gmail.com
o buscame en la Oficina 215 de FAMAF.
- Para consultar en la sede administrativa del Doctorado
en Neurociencias, escribí a
cursos@dnc.unc.edu.ar.
- Para consultar en la sede de la Oficina de Posgrado de FAMAF,
dirigite por mail a la dirección
de correo electrónico
codepo@famaf.unc.edu.ar.
|