diff --git a/README.md b/README.md index 30b5b19..34492d3 100644 --- a/README.md +++ b/README.md @@ -19,7 +19,14 @@ container. Install graphic card drivers according to your hardware and your OS. To make the tensorflow docker container work. -After that, run the whole project from the +Also get Ollama running in a docker container, sharing the same network protoRustNet. +That it is reachable from the ollama-cli-server under http://ollama:11434/api/generate. + +I run my ollama container seperately together with open web ui. +Like that, I can administrate the models over the web ui, and then use them by changing the code +in the fastapi_server.py file of the ollama-cli-server container. + +After having set up the ollama container and the gpu docker drivers, just start the whole project in the ``` compose ``` @@ -28,8 +35,35 @@ directory with docker compose up -d ``` +The deb-rust-interface will be running on port + + For instructions how to setup a webserver as reverse proxy, you can contact basabuuka. +My nginx configuration for the basabuuka prototype is the following: + +``` +upstream protointerface { + server 127.0.0.1:1030; +} + +server { + + server_name example.org; + # access logs consume resources + access_log /var/log/nginx/example.org.access.log; + location / { + proxy_pass http://protointerface; + } + # set high timeouts for using 14b model on 200 euro gpu + proxy_connect_timeout 300; + proxy_send_timeout 300; + proxy_read_timeout 300; + send_timeout 300; + keepalive_timeout 300; +} + +``` diff --git a/build/deb-rust-interface/rust-proto-interface/lang.json b/build/deb-rust-interface/rust-proto-interface/lang.json index c86e6bd..f99bb8a 100644 --- a/build/deb-rust-interface/rust-proto-interface/lang.json +++ b/build/deb-rust-interface/rust-proto-interface/lang.json @@ -36,10 +36,10 @@ "it": "basabuuka" }, "index_translating": { - "en": "The algorithm is translating.. this can take up to 50 seconds the first time. All further translations take much less time, depending on the length of the paragraph..", - "fr": "L'algorithme traduit... ceci peut prendre jusqu'à 50 secondes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..", - "de": "Der Algorithmus übersetzt den Absatz.. Dies kann beim ersten Mal je nach Länge des Absatzes bis zu 50 Sekunden dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..", - "it": "L'algoritmo sta traducendo... ciò può richiedere fino a 50 secondi la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo..." + "en": "The algorithm is translating on a 200 euro GPU.. this can take minutes the first time. All further translations take much less time, depending on the length of the paragraph..", + "fr": "L'algorithme traduit sur une carte graphique à 200 euros... ceci peut prendre des minutes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..", + "de": "Der Algorithmus übersetzt den Absatz auf einer 200 Euro GPU.. Dies kann beim ersten Mal je nach Länge des Absatzes Minuten dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..", + "it": "L'algoritmo sta traducendo su una GPU da 200 euro... ciò può richiedere minuti la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo." }, "index_title2": { "en": "Open Language!", diff --git a/build/ollama-cli-server/fastapiserver/fastapi_server.py b/build/ollama-cli-server/fastapiserver/fastapi_server.py index a1bb7eb..3f35e92 100644 --- a/build/ollama-cli-server/fastapiserver/fastapi_server.py +++ b/build/ollama-cli-server/fastapiserver/fastapi_server.py @@ -25,7 +25,7 @@ async def print_and_respond(request: Request): - message = 'Forme bitte folgenden Satz in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Gib keinerlei Erklärung oder andere Aussagen, sondern gib nur die resultierenden Sätze mit einer Aussage pro Satz wieder. Versuche auch logische Zusammenhänge im Resultat beizubehalten. Das ist der Satz, der umgeformt werden soll:' + data["data"] + message = 'Forme folgendene Sätze in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Alle Aussagen und jeglicher Inhalt sollen im Resultat noch enthalten sein! Gib keinerlei Erklärung oder andere Aussagen in deiner Antwort, nur die umgeformten, vereinfachten Sätze:' + data["data"] #message = {'role': 'user', 'content': 'Why is the sky blue?'} diff --git a/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl b/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl index b3f944a..6e53b16 100644 Binary files a/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl and b/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl differ diff --git a/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl b/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl index 5131531..1478c56 100644 Binary files a/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl and b/build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl differ diff --git a/build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc b/build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc index f0fe2ab..9df4e4a 100644 Binary files a/build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc and b/build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc differ diff --git a/build/tf-fastapi-server/Prototyp/fastapi_server.py b/build/tf-fastapi-server/Prototyp/fastapi_server.py index b27c69d..ec8709e 100644 --- a/build/tf-fastapi-server/Prototyp/fastapi_server.py +++ b/build/tf-fastapi-server/Prototyp/fastapi_server.py @@ -48,7 +48,7 @@ async def root(data: Request): #data = {"key": "oioioi und oi."} - async with httpx.AsyncClient(timeout=100.0) as client: + async with httpx.AsyncClient(timeout=300.0) as client: response_from_second_server = await client.post(SECOND_SERVER_URL, data=json_data) print('oi oi oi oi')