Técnica
El laboratorio de Zurich de Huawei presenta SINQ, un método de cuantización de código abierto que afirma que puede reducir el uso de la memoria de LLM en un 60-70% sin una pérdida de calidad significativa (Carl Franzen/VentureBeat)
Carl Franzen / VentureBeat:
El laboratorio de Zurich de Huawei presenta Sinq, un método de cuantificación de código abierto que afirma que puede reducir el uso de la memoria de LLM en un 60-70% sin pérdida de calidad significativa – – Escala de doble eje: en lugar de usar un factor de escala única para cuantificar una matriz, SINQ utiliza vectores de escala separados para filas y columnas.
Fuente
