Browse Source

added additional info in README.md, changed info on interface

master
alpcentaur 1 month ago
parent
commit
a2bdee2fa3
7 changed files with 41 additions and 7 deletions
  1. +35
    -1
      README.md
  2. +4
    -4
      build/deb-rust-interface/rust-proto-interface/lang.json
  3. +1
    -1
      build/ollama-cli-server/fastapiserver/fastapi_server.py
  4. BIN
      build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl
  5. BIN
      build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl
  6. BIN
      build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc
  7. +1
    -1
      build/tf-fastapi-server/Prototyp/fastapi_server.py

+ 35
- 1
README.md View File

@ -19,7 +19,14 @@ container.
Install graphic card drivers according to your hardware and your OS. Install graphic card drivers according to your hardware and your OS.
To make the tensorflow docker container work. To make the tensorflow docker container work.
After that, run the whole project from the
Also get Ollama running in a docker container, sharing the same network protoRustNet.
That it is reachable from the ollama-cli-server under http://ollama:11434/api/generate.
I run my ollama container seperately together with open web ui.
Like that, I can administrate the models over the web ui, and then use them by changing the code
in the fastapi_server.py file of the ollama-cli-server container.
After having set up the ollama container and the gpu docker drivers, just start the whole project in the
``` ```
compose compose
``` ```
@ -28,8 +35,35 @@ directory with
docker compose up -d docker compose up -d
``` ```
The deb-rust-interface will be running on port
For instructions how to setup a webserver as reverse proxy, you can contact basabuuka. For instructions how to setup a webserver as reverse proxy, you can contact basabuuka.
My nginx configuration for the basabuuka prototype is the following:
```
upstream protointerface {
server 127.0.0.1:1030;
}
server {
server_name example.org;
# access logs consume resources
access_log /var/log/nginx/example.org.access.log;
location / {
proxy_pass http://protointerface;
}
# set high timeouts for using 14b model on 200 euro gpu
proxy_connect_timeout 300;
proxy_send_timeout 300;
proxy_read_timeout 300;
send_timeout 300;
keepalive_timeout 300;
}
```

+ 4
- 4
build/deb-rust-interface/rust-proto-interface/lang.json View File

@ -36,10 +36,10 @@
"it": "basabuuka" "it": "basabuuka"
}, },
"index_translating": { "index_translating": {
"en": "The algorithm is translating.. this can take up to 50 seconds the first time. All further translations take much less time, depending on the length of the paragraph..",
"fr": "L'algorithme traduit... ceci peut prendre jusqu'à 50 secondes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..",
"de": "Der Algorithmus übersetzt den Absatz.. Dies kann beim ersten Mal je nach Länge des Absatzes bis zu 50 Sekunden dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..",
"it": "L'algoritmo sta traducendo... ciò può richiedere fino a 50 secondi la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo..."
"en": "The algorithm is translating on a 200 euro GPU.. this can take minutes the first time. All further translations take much less time, depending on the length of the paragraph..",
"fr": "L'algorithme traduit sur une carte graphique à 200 euros... ceci peut prendre des minutes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..",
"de": "Der Algorithmus übersetzt den Absatz auf einer 200 Euro GPU.. Dies kann beim ersten Mal je nach Länge des Absatzes Minuten dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..",
"it": "L'algoritmo sta traducendo su una GPU da 200 euro... ciò può richiedere minuti la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo."
}, },
"index_title2": { "index_title2": {
"en": "Open Language!", "en": "Open Language!",

+ 1
- 1
build/ollama-cli-server/fastapiserver/fastapi_server.py View File

@ -25,7 +25,7 @@ async def print_and_respond(request: Request):
message = 'Forme bitte folgenden Satz in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Gib keinerlei Erklärung oder andere Aussagen, sondern gib nur die resultierenden Sätze mit einer Aussage pro Satz wieder. Versuche auch logische Zusammenhänge im Resultat beizubehalten. Das ist der Satz, der umgeformt werden soll:' + data["data"]
message = 'Forme folgendene Sätze in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Alle Aussagen und jeglicher Inhalt sollen im Resultat noch enthalten sein! Gib keinerlei Erklärung oder andere Aussagen in deiner Antwort, nur die umgeformten, vereinfachten Sätze:' + data["data"]
#message = {'role': 'user', 'content': 'Why is the sky blue?'} #message = {'role': 'user', 'content': 'Why is the sky blue?'}

BIN
build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio1.hkl View File


BIN
build/tf-fastapi-server/Prototyp/DataBaseOneZeroshkldbMedio2.hkl View File


BIN
build/tf-fastapi-server/Prototyp/__pycache__/fastapi_server.cpython-36.pyc View File


+ 1
- 1
build/tf-fastapi-server/Prototyp/fastapi_server.py View File

@ -48,7 +48,7 @@ async def root(data: Request):
#data = {"key": "oioioi und oi."} #data = {"key": "oioioi und oi."}
async with httpx.AsyncClient(timeout=100.0) as client:
async with httpx.AsyncClient(timeout=300.0) as client:
response_from_second_server = await client.post(SECOND_SERVER_URL, data=json_data) response_from_second_server = await client.post(SECOND_SERVER_URL, data=json_data)
print('oi oi oi oi') print('oi oi oi oi')

Loading…
Cancel
Save