From a2bdee2fa3a2ed477d0bf7541dd17f920977b1e2 Mon Sep 17 00:00:00 2001 From: alpcentaur Date: Tue, 8 Oct 2024 23:14:26 +0200 Subject: [PATCH] added additional info in README.md, changed info on interface --- README.md | 36 +++++++++++++++++- .../rust-proto-interface/lang.json | 8 ++-- .../fastapiserver/fastapi_server.py | 2 +- .../Prototyp/DataBaseOneZeroshkldbMedio1.hkl | Bin 19218 -> 19218 bytes .../Prototyp/DataBaseOneZeroshkldbMedio2.hkl | Bin 21146 -> 21146 bytes .../__pycache__/fastapi_server.cpython-36.pyc | Bin 1127 -> 1127 bytes .../Prototyp/fastapi_server.py | 2 +- 7 files changed, 41 insertions(+), 7 deletions(-) diff --git a/README.md b/README.md index 30b5b19..34492d3 100644 --- a/README.md +++ b/README.md @@ -19,7 +19,14 @@ container. Install graphic card drivers according to your hardware and your OS. To make the tensorflow docker container work. -After that, run the whole project from the +Also get Ollama running in a docker container, sharing the same network protoRustNet. +That it is reachable from the ollama-cli-server under http://ollama:11434/api/generate. + +I run my ollama container seperately together with open web ui. +Like that, I can administrate the models over the web ui, and then use them by changing the code +in the fastapi_server.py file of the ollama-cli-server container. + +After having set up the ollama container and the gpu docker drivers, just start the whole project in the ``` compose ``` @@ -28,8 +35,35 @@ directory with docker compose up -d ``` +The deb-rust-interface will be running on port + + For instructions how to setup a webserver as reverse proxy, you can contact basabuuka. +My nginx configuration for the basabuuka prototype is the following: + +``` +upstream protointerface { + server 127.0.0.1:1030; +} + +server { + + server_name example.org; + # access logs consume resources + access_log /var/log/nginx/example.org.access.log; + location / { + proxy_pass http://protointerface; + } + # set high timeouts for using 14b model on 200 euro gpu + proxy_connect_timeout 300; + proxy_send_timeout 300; + proxy_read_timeout 300; + send_timeout 300; + keepalive_timeout 300; +} + +``` diff --git a/build/deb-rust-interface/rust-proto-interface/lang.json b/build/deb-rust-interface/rust-proto-interface/lang.json index c86e6bd..f99bb8a 100644 --- a/build/deb-rust-interface/rust-proto-interface/lang.json +++ b/build/deb-rust-interface/rust-proto-interface/lang.json @@ -36,10 +36,10 @@ "it": "basabuuka" }, "index_translating": { - "en": "The algorithm is translating.. this can take up to 50 seconds the first time. All further translations take much less time, depending on the length of the paragraph..", - "fr": "L'algorithme traduit... ceci peut prendre jusqu'à 50 secondes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..", - "de": "Der Algorithmus übersetzt den Absatz.. Dies kann beim ersten Mal je nach Länge des Absatzes bis zu 50 Sekunden dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..", - "it": "L'algoritmo sta traducendo... ciò può richiedere fino a 50 secondi la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo..." + "en": "The algorithm is translating on a 200 euro GPU.. this can take minutes the first time. All further translations take much less time, depending on the length of the paragraph..", + "fr": "L'algorithme traduit sur une carte graphique à 200 euros... ceci peut prendre des minutes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..", + "de": "Der Algorithmus übersetzt den Absatz auf einer 200 Euro GPU.. Dies kann beim ersten Mal je nach Länge des Absatzes Minuten dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..", + "it": "L'algoritmo sta traducendo su una GPU da 200 euro... ciò può richiedere minuti la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo." }, "index_title2": { "en": "Open Language!", diff --git a/build/ollama-cli-server/fastapiserver/fastapi_server.py b/build/ollama-cli-server/fastapiserver/fastapi_server.py index a1bb7eb..3f35e92 100644 --- a/build/ollama-cli-server/fastapiserver/fastapi_server.py +++ b/build/ollama-cli-server/fastapiserver/fastapi_server.py @@ -25,7 +25,7 @@ async def print_and_respond(request: Request): - message = 'Forme bitte folgenden Satz in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Gib keinerlei Erklärung oder andere Aussagen, sondern gib nur die resultierenden Sätze mit einer Aussage pro Satz wieder. Versuche auch logische Zusammenhänge im Resultat beizubehalten. Das ist der Satz, der umgeformt werden soll:' + data["data"] + message = 'Forme folgendene Sätze in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Alle Aussagen und jeglicher Inhalt sollen im Resultat noch enthalten sein! Gib keinerlei Erklärung oder andere Aussagen in deiner Antwort, nur die umgeformten, vereinfachten Sätze:' + data["data"] #message = {'role': 'user', 'content': 'Why is the sky blue?'} diff --git a/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl b/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl index b3f944aa5fbfd56cff25d8bcc56d195f5dc01bbb..6e53b161972bad086fe655a4ca747e0a00830885 100644 GIT binary patch delta 49 vcmbO