Webgit
Sistema de control de versiones sobre http.
El machine learning requiere de la gestión de grandes cantidades de información, la cual se va transformando con el tiempo, y que debe ser manejada por varios usuarios de manera concurrente para distintos propósitos, lo cual requiere de un sistema de control de versiones.
Git se ha convertido en un estándar, pero está planteado para la gestión de código (texto), y la información necesita ser clonada para acceder a ella (distribuido). Esto implica, por ejemplo, que, para realizar un entrenamiento en cierta versión del dataset, es necesario descargarse todos los ficheros.
Nos gustaría diseñar una herramienta que almacene, gestione y versione ficheros; utilizando el mismo protocolo que Git (object, commit, branch, merge, tag…), pero optimizado para los siguientes casos:
- Permita la subida y bajada de ficheros grandes de manera paginada y concurrente (optimizado para ficheros de gran tamaño).
- Permita a los usuarios manipular el repositorio desde remoto sin necesitar descargarse todo el proyecto (edición en remoto de los ficheros mediante GET/PUT/PATCH).
- Permita descargarse un fichero de forma rápida sin necesidad de checkout o cálculo de diff. (Que sea rápido y no haga cuello de botella a un entrenamiento).




