TED Talks, descargar videos y subtitulos de las charlas

ted_logo

Como introducción, para aquellos que aun no conozcan TED (Technology, Enternaiment, Design) y sus famosas charlas, TED Talks, podría resumirlo como algo así como la versión en vídeo de las revistas de “divulgación científica y tecnológica” (acogiendo bajo esta denominación desde las más banales a las mas prestigiosas) que todos conocemos como Muy Interesante, Investigación y Ciencia, Geo, Quo, National Geographic, Popular Science, Nature, Science, Lancet, etc… con la ventaja de la escasa distorsión del mensaje y lo conciso del mismo. Esto se debe a que no tenemos que pasar por el filtro del periodista (cuando no es un paper), es el propio interesado quien nos relata sus ideas personalmente y que la gran mayoría de las charlas esta sometida a un tiempo limite de 18 minutos, ya que es el tiempo máximo que se ha calculado que podemos estar centrados en un solo asunto sin perder el interés o la atención. Evidentemente no son comparables a un articulo amplio, detallado y bien redactado o a un buen documental, ni tampoco lo pretenden. No se trata de profundizar en los temas, se trata de que el ponente consiga transmitirte sus ideas, su entusiasmo y la trascendencia de las mismas, y en la mayoría de los casos lo consiguen, y algunas de estas charlas son de una calidad y de una trascendencia tales, que deberían tener lugar también en los medios tradicionales (TV). La calidad de estas charlas es tal que es difícil no quedarte impresionado (cuando no deslumbrado) al final de las mismas y contagiado del entusiasmo de los ponentes, la apertura de miras, conocimiento y humildad que te proporcionan (amen de ayudarte a creer un poquito más en la humanidad) no tiene parangón actualmente. Desde la serie Cosmos de Carl Sagan, no he encontrado nada parecido que me invitara tanto a pensar y me abriera tanto la mente. Lo único que se acerca, entre la telebasura reinante, en el mundo audiovisual actual, es el programa Redes de Eduardo Punset.

Para una definición más precisa, un extracto del articulo de la Wikipedia:

TED (Tecnología, Entretenimiento, Diseño, del inglés: Technology, Entertainment, Design) es una organización sin ánimo de lucro dedicada a las “ideas que vale la pena difundir” (del inglés: Ideas worth spreading). TED es ampliamente conocida por su conferencia anual (TED Conference) y sus charlas (TED Talks) que cubren un amplio espectro de temas que incluyen ciencias, arte y diseño, política, educación, cultura, negocios, asuntos globales, tecnología y desarrollo, y entretenimiento. Los conferenciantes han incluido a personas como el ex-Presidente de los Estados Unidos Bill Clinton, los laureados con el Premio Nobel James D. Watson, Murray Gell-Mann, y Al Gore, el co-fundador de Microsoft, Bill Gates, los co-fundadores de Google Sergey Brin y Larry Page, y Billy Graham

Estas charlas se publican en su pagina web actualmente a un ritmo aproximado de una por día de semana (esto es, lunes a viernes). Actualmente (julio 2010) hay más de 700 charlas disponibles en su página y se han visionado más de 290.000.000 de veces (julio 2010), para que os hagáis una idea de la repercusión y trascendencia de las mismas.

El caso es que yo las sigo habitualmente, vamos que veo todas las que publican. Al principio me limitaba a enterarme de la publicación de las mismas por mi lector de fuentes RSS, veía el asunto de las mismas y si me parecía interesante, las veía directamente a través de su página web. Luego, cansado de los inconvenientes de verlas a través de un navegador web a pantalla completa, en flash desde Linux, dí un paso más y me pase a un programa como Miro, de hecho hay una versión del mismo para TED. Para el que no lo conozca, Miro es un reproductor multimedia open source multiplataforma que cuenta con un agregador de fuentes RSS y torrents para podcasts de audio y vídeo. Así que él automáticamente se baja las charlas a medida que se van publicando y tu solo tienes que visionarlas desde el mismo, decidiendo después si las eliminas o las conservas.

Miro TED Talks

Pero Miro para mi tenia dos grandes problemas, el primero que no descarga los subtitulos, y el segundo que la visualización de estos es bastante pobre (al menos comparado con la configuración que tengo en mi SMPlayer). No es que los subtitulos me sean esenciales (todas las charlas son en ingles) pero si que ayudan mucho para el contexto de aquellas donde uno ni de lejos domina los tecnicismos de algunos campos, o porque no decirlo, cuando el acento o la pronunciación de algunos de los ponentes me hace imposible seguirlos sin los mismos. Siempre veo los subtitulos en el idioma original, inglés, pero siempre descargo también la versión en español porque me es muy útil en algunos momentos, como por ejemplo cuando se refieren a especies animales o vegetales de los que no conozco la traducción al español, y en lugar de tirar de diccionario continuamente, gano tiempo visionandolos en castellano.

Como uno ha de reconocer humildemente, rara es la vez que a uno no se le presente un problema que no se le haya presentado antes a otro y no haya dado con una solución valida. Luego en vez de reinventar la rueda (aunque finalmente es lo que haya acabado haciendo) me dirigí a San Google para encontrar una solución para descargar los subtitulos de las TED Talks, y he aquí, que doy con este script en Python (mi lenguaje de programación favorito). Lo empleé durante unos días (tres para ser exactos), pero no me acaba de convencer y me puse a modificarlo, y cuando estaba en ello, me dije: Que demonios! si al final no te convence Miro para visionar los vídeos con subtitulos, porque no descargar también los mismos y utilizar el SMPlayer para visionarlos? Así que me puse manos a la obra, y esto es lo que salio y actualmente empleo.

El script hace uso de la fuente RSS de las TED Talks en calidad HD para conocer cuando se publica una nueva charla en la pagina. Comprueba si no esta ya descargado, si no es así, lo descarga y luego comprueba la disponibilidad de los subtitulos (español e ingles) para las charlas ya descargadas que se encuentren en la carpeta. Si encuentra alguno disponible y no descargado anteriormente, lo convierte en un nuevo fichero .srt en la carpeta. Finalmente, si se ha descargado algo (charlas o subs), manda un correo a mi usuario local notificándomelo. Esta script lo tengo automatizado mediante una tarea cron en un pequeño servidor que tengo y que se ejecuta todas las mañanas a eso de las 9:30 y que normalmente me descarga la charla del día anterior y los subtitulos en ingles de la misma y los de español de dos días antes. Esto depende mucho de la velocidad de traducción de los colaboradores, ya que a veces, cuando una charla es muy interesante, es posible que a las pocas horas dispongamos de los subtitulos en los dos idiomas.

La parte fundamental del código del script, es la siguiente:

def get_sub(tt_id , tt_intro, sub):
“””Get TED Subtitle in JSON format & convert it to SRT Subtitle
Obtiene el subtitulo de TED en formato JSON y lo convierte al formato SRT”””

def srt_time(tst):
“””Format Time from TED Subtitles format to SRT time Format
Convierte el formato de tiempo del subtitulo TED al formato de SRT”””
secs, mins, hours = ((tst / 1000) % 60), (tst / 60000), (tst / 3600000)
right_srt_time = “{0:02d}:{1:02d}:{2:02d},000″.format(hours, mins, secs)
return right_srt_time

srt_content = ”
sub_log = ”
tt_url = ‘http://www.ted.com/talks’
sub_url = ‘{0}/subtitles/id/{1}/lang/{2}’.format(tt_url, tt_id, sub[-7:-4])
## Get JSON sub
if FOUND:
json_file = Popen([‘wget’, ‘-q’, ‘-O’, ‘-‘, sub_url],
stdout=PIPE).stdout.readlines()

if json_file:
for line in json_file:
if line.find(‘captions’) == -1 and line.find(‘status’) == -1:
json_file.remove(line)
else:
sub_log += “Subtitle ‘{0}’ not found.{1}”.format(sub, os.linesep)
else:
json_file = urllib2.urlopen(sub_url).readlines()
try:
json_object = json.loads(json_file[0])
if ‘captions’ in json_object:
caption_idx = 1
if not json_object[‘captions’]:
sub_log += (“Subtitle ‘{0}’ not available.{1}”.
format(sub, os.linesep))
for caption in json_object[‘captions’] :
start = tt_intro + caption[‘startTime’]
end = start + caption[‘duration’]
idx_line = ‘{0}’.format(caption_idx)
time_line = ‘{0} –> {1}’.format(srt_time(start), srt_time(end))
text_line = ‘{0}’.format(caption[‘content’].encode(“utf-8”))
srt_content += ‘\n’.join([idx_line, time_line, text_line, ‘\n’])
caption_idx += 1
elif ‘status’ in json_object:
sub_log += (“This is an error message returned by TED:{0}{0} – {1}”
“{0}{0}Probably because the subtitle ‘{2}’ is not ”
“available.{0}{0}{0}”
“”.format(os.linesep, json_object[‘status’][‘message’],
sub))

except ValueError:
sub_log += (“Subtitle ‘{0}’ it’s a malformed json file.{1}”.
format(sub, os.linesep))
return srt_content, sub_log

def check_subs(ttalk, v_name):
“””Check if the subtitles for the talk are downloaded, if not try to get
them. Checks it for english and spanish languages
Comprueba si los subtitulos para la charla estan descargados, si no, intenta
obtenerlos. Lo comprueba para los idiomas español e ingles”””
## Get the names for the subtitles (for english and spanish languages) only
# if they not are already downloaded
subs = (s_name for s_name in
(“{0}.{1}.srt”.format(v_name[:-4], lang) for lang in (‘eng’, ‘spa’))
if s_name not in glob.glob(‘*.srt’))
s_log = ”
for sub in subs:
## Reads the talk web page, to search the talk’s intro duration
if FOUND:
tt_webpage = Popen([‘wget’, ‘-q’, ‘-O’, ‘-‘,
ttalk.feedburner_origlink],
stdout=PIPE).stdout.read()
else:
tt_webpage = urllib2.urlopen(ttalk.feedburner_origlink).read()
tt_intro = int(search(“introDuration:(\d+),”, tt_webpage).group(1))
subtitle, get_log = get_sub(ttalk.id.split(‘:’)[-1], tt_intro, sub)
s_log += get_log
if subtitle:
with open(sub, ‘w’) as srt_file:
srt_file.write(subtitle)
s_log += “{0}{1} downloaded.{0}”.format(os.linesep, sub)
return s_log

def get_video(ttk, vid_url, vid_name):
“””Gets the TED Talk video
Obtiene el video de la TED Talk”””
if FOUND:
Popen([‘wget’, ‘-q’, ‘-O’, vid_name, vid_url], stdout=PIPE).stdout.read()
else:
urllib.urlretrieve(vid_url, vid_name)
v_log = ‘{0} ({1})\n’.format(ttk.subtitle, ttk.itunes_duration)
v_log += ‘{0}\n\n’.format(‘=’ * (len(ttk.subtitle) + 11))
v_log += ‘{0}\n\n’.format(ttk.feedburner_origlink)
v_log += ‘{0}\n\n’.format(ttk.content[0].value)
v_log += ‘file://{0}\n’.format(os.path.join(os.getcwd(), vid_name))
vid_size = best_unit_size(get_size(vid_name))
v_log += ‘{0:.2f} {1}\n\n’.format(vid_size[‘s’], vid_size[‘u’])
return v_log

def main():
“””main section”””

#===============================================================================
# SCRIPT PARAMETERS
#===============================================================================

## The directory to store the videos and subs.
# For Windows change the character ‘\’ for the character ‘/’, I know is
# akward but is because how escape strings python
ttalk_vid_dir = ‘/your/path/to/TED/Talks/Videos’

#===============================================================================
# END PARAMETERS
#===============================================================================

# initalize the log
log = Logger()

# log the header
url = ‘http://joedicastro.com’
msg = ‘Download TED Talks from HD RSS Feed’
log.header(url, msg)

# log the start time
log.time(‘Start Time’)

os.chdir(os.path.normpath(ttalk_vid_dir))

## Get a list of the current TED Talks downloaded in the dir
videos = glob.glob(‘*.mp4’)

## Get the last download Talk video date
try:
with open(‘.data.pkl’, ‘rb’) as pkl_file:
last = pickle.load(pkl_file)
except (EOFError, IOError, pickle.PickleError):
last = time.localtime(time.time() – 86400)
video_dates = []

## The TED Talks HD RSS feed
ttalk_feed_url = ‘http://feeds.feedburner.com/tedtalksHD’
ttalk_feed = feedparser.parse(ttalk_feed_url)

## If the feed is erroneous or occurs a http or network error, log and exit!
if ttalk_feed.bozo:
log.list(‘An error occurred’, str(ttalk_feed.bozo_exception))
if not WIN_OS:
log.send(‘Download TED Talks’)
sys.exit(1)

## If correct, process the feed entries
vids_log, subs_log = ”, ”
for ttalk_entrie in ttalk_feed.entries:
## Get The video url and name
tt_vid_url = ttalk_entrie.enclosures[0].href
tt_vid_name = tt_vid_url.split(‘/’)[-1]
## If the video is new, download it!
if ttalk_entrie.updated_parsed > last and tt_vid_name not in videos:
vids_log += get_video(ttalk_entrie, tt_vid_url, tt_vid_name)
videos.append(tt_vid_name)
video_dates.append(ttalk_entrie.updated_parsed)
## If video is already downloaded, check if subs exists, if not, get it!
if tt_vid_name in videos:
subs_log += check_subs(ttalk_entrie, tt_vid_name)
log.list(‘Talks downloaded’, vids_log)
log.list(‘Subs downloaded’, [subs_log])

## Set the last download video date
if video_dates:
last = max(video_dates)
with open(‘.data.pkl’, ‘wb’) as output:
pickle.dump(last, output)

log.time(‘End time’)
## If logs any activity, sends the information mail
if not WIN_OS:
log.send(‘Download TED Talks’)
log.write(False)

if __name__ == “__main__”:
WIN_OS = True if platform.system() == ‘Windows’ else False
if not WIN_OS:
FOUND = check_exec_posix(‘wget’)
main()

Y un ejemplo de un correo enviado por el mismo quedaría así:

De: youruser@yourcomputer
Para: youruser@yourcomputer
Asunto: Download TED Talks – Thursday 07/29/10, 17:04:52
Fecha: Thu, 29 Jul 2010 17:04:52 +0200

New TED Talk downloaded!
========================

Laurie Santos: A monkey economy as irrational as ours (00:19:45)

Laurie Santos looks for the roots of human irrationality by watching the way
our primate relatives make decisions. A clever series of experiments in
“monkeynomics” shows that some of the silly choices we make, monkeys make too.

file:///your/path/to/TEDTalks/LaurieSantos_2010G_480.mp4
240.7 MiB

SusanShaw_2010X_480.eng.srt downloaded

Pudiendo acceder al vídeo directamente desde el correo, y si se encontraran los subtítulos para el mismo ya disponibles, visualizarlos automáticamente.

El que el script esté fundamentalmente en ingles (la mayoría de comentarios y los nombres de las variables) es que me siento más cómodo de esta manera y ayuda a que un espectro más amplio de personas sea capaz de comprenderlo. Si este script le sirve a alguien más o le inspira para crear el suyo propio, pues habrá valido la pena el publicarlo. El resto del script, TEDTalks.py está disponible en mi repositorio alojado en bitbucket y en github, al igual que instrucciones ampliadas de su uso.

Finalmente como ejemplo, publico una de las charlas más impactantes este año y ganadora del TED Prize, Jamie Oliver: Enseñarle a todos los niños acerca de la comida

Fuente: joedicastro

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s