Repository navigation
El arbol servido sube a 5896310: el banco de referencia puede ser disperso - #379
Merged
Merged
Conversation
…perso e61a26e4 -> 5896310. Un PR, #1069, sin migracion y sin cambio de dependencias. El codigo aprendido estaba almacenado y no se podia buscar sobre el, y el tapon no era la busqueda sino que PROTEA densificaba el banco antes de llamar: 56,0 GB de pico medidos contra 30 GiB de maquina, para unas filas que en CSR son 0,35 GB. La libreria queda intacta. Puerta comprobada en el servidor: 0 jobs QUEUED o RUNNING y ningun prediction_set escribiendose.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
e61a26e4->5896310. Un PR de PROTEA, #1069, sin migracion y sin cambiode dependencias ni de frontend.
Lo que desbloquea
El codigo aprendido llevaba la noche almacenado, 684.048 vectores de 8192
dimensiones con exactamente 64 no nulos por fila, sin un solo numero contra
el. El tapon no era la busqueda:
disk_cache._derive_reference_viewsconstruye la copia f32 antes delif need_cosy solo la suelta en elreturn, asi queneed_plain=Falsenoevitaba la asignacion.
protea_method.knn_searchqueda intacto: su backend numpy acepta uncsr_arraytal cual, verificado con el mismo orden de vecinos y delta0,000e+00.
Lo declarado, y por que no
sparseLa libreria tiene ya un backend
sparseescrito para codigos k-WTA ydeliberadamente no se usa:
search_backendes campo deMETHOD_IDENTITY_FIELDS, asi que elegirlo haria que el brazo del codigoaprendido difiera del de ankh-base en dos campos declarados en vez de uno y la
comparacion perderia su eje.
Sin cache de disco, declarado como alcance
El formato es
np.save; el modulo exige subir una constante cuando cambia elSIGNIFICADO de lo cacheado y registra dos incidentes en que no se subio y se
sirvio lo viejo bajo clave valida; y cualquier desajuste se vuelve un MISS
permanente silencioso. Cuesta 10,1 min cargar el banco entero a 0,88 ms por
fila, contra 12,6 min del banco denso de ankh-base que si se cachea.
Sin migracion
Nada toca
alembic/. La base se queda end5a1c8e3f706.Puerta comprobada en el servidor
0 jobs QUEUED o RUNNING y ningun
prediction_setescribiendose.