added additional info in README.md, changed info on interface
This commit is contained in:
parent
9b3980a99e
commit
a2bdee2fa3
7 changed files with 42 additions and 8 deletions
38
README.md
38
README.md
|
@ -19,7 +19,14 @@ container.
|
|||
Install graphic card drivers according to your hardware and your OS.
|
||||
To make the tensorflow docker container work.
|
||||
|
||||
After that, run the whole project from the
|
||||
Also get Ollama running in a docker container, sharing the same network protoRustNet.
|
||||
That it is reachable from the ollama-cli-server under http://ollama:11434/api/generate.
|
||||
|
||||
I run my ollama container seperately together with open web ui.
|
||||
Like that, I can administrate the models over the web ui, and then use them by changing the code
|
||||
in the fastapi_server.py file of the ollama-cli-server container.
|
||||
|
||||
After having set up the ollama container and the gpu docker drivers, just start the whole project in the
|
||||
```
|
||||
compose
|
||||
```
|
||||
|
@ -28,8 +35,35 @@ directory with
|
|||
docker compose up -d
|
||||
```
|
||||
|
||||
The deb-rust-interface will be running on port
|
||||
|
||||
|
||||
For instructions how to setup a webserver as reverse proxy, you can contact basabuuka.
|
||||
My nginx configuration for the basabuuka prototype is the following:
|
||||
|
||||
```
|
||||
upstream protointerface {
|
||||
server 127.0.0.1:1030;
|
||||
}
|
||||
|
||||
server {
|
||||
|
||||
server_name example.org;
|
||||
# access logs consume resources
|
||||
access_log /var/log/nginx/example.org.access.log;
|
||||
|
||||
location / {
|
||||
proxy_pass http://protointerface;
|
||||
}
|
||||
|
||||
# set high timeouts for using 14b model on 200 euro gpu
|
||||
proxy_connect_timeout 300;
|
||||
proxy_send_timeout 300;
|
||||
proxy_read_timeout 300;
|
||||
send_timeout 300;
|
||||
keepalive_timeout 300;
|
||||
|
||||
|
||||
}
|
||||
|
||||
|
||||
```
|
||||
|
|
|
@ -36,10 +36,10 @@
|
|||
"it": "basabuuka"
|
||||
},
|
||||
"index_translating": {
|
||||
"en": "The algorithm is translating.. this can take up to 50 seconds the first time. All further translations take much less time, depending on the length of the paragraph..",
|
||||
"fr": "L'algorithme traduit... ceci peut prendre jusqu'à 50 secondes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..",
|
||||
"de": "Der Algorithmus übersetzt den Absatz.. Dies kann beim ersten Mal je nach Länge des Absatzes bis zu 50 Sekunden dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..",
|
||||
"it": "L'algoritmo sta traducendo... ciò può richiedere fino a 50 secondi la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo..."
|
||||
"en": "The algorithm is translating on a 200 euro GPU.. this can take minutes the first time. All further translations take much less time, depending on the length of the paragraph..",
|
||||
"fr": "L'algorithme traduit sur une carte graphique à 200 euros... ceci peut prendre des minutes la première fois. Les traductions ultérieures prennent beaucoup moins de temps, en fonction de la longueur du paragraphe..",
|
||||
"de": "Der Algorithmus übersetzt den Absatz auf einer 200 Euro GPU.. Dies kann beim ersten Mal je nach Länge des Absatzes Minuten dauern. Alle weiteren Übersetzungen jedoch dauern kürzer, sobald die Modelle in die RAM geladen sind..",
|
||||
"it": "L'algoritmo sta traducendo su una GPU da 200 euro... ciò può richiedere minuti la prima volta. Le traduzioni successive richiederanno molto meno tempo, a seconda della lunghezza del paragrafo."
|
||||
},
|
||||
"index_title2": {
|
||||
"en": "Open Language!",
|
||||
|
|
|
@ -25,7 +25,7 @@ async def print_and_respond(request: Request):
|
|||
|
||||
|
||||
|
||||
message = 'Forme bitte folgenden Satz in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Gib keinerlei Erklärung oder andere Aussagen, sondern gib nur die resultierenden Sätze mit einer Aussage pro Satz wieder. Versuche auch logische Zusammenhänge im Resultat beizubehalten. Das ist der Satz, der umgeformt werden soll:' + data["data"]
|
||||
message = 'Forme folgendene Sätze in mehrere Sätze um, sodass jeder Satz genau eine Aussage enthält. Nach jeder Aussage soll ein Punkt kommen. Subjekte und Objekte dürfen sich nicht vertauschen. Bei der Umformung darf kein Wort dazukommen, und es darf auch kein Wort wegfallen. Alle Aussagen und jeglicher Inhalt sollen im Resultat noch enthalten sein! Gib keinerlei Erklärung oder andere Aussagen in deiner Antwort, nur die umgeformten, vereinfachten Sätze:' + data["data"]
|
||||
|
||||
|
||||
#message = {'role': 'user', 'content': 'Why is the sky blue?'}
|
||||
|
|
Binary file not shown.
Binary file not shown.
Binary file not shown.
|
@ -48,7 +48,7 @@ async def root(data: Request):
|
|||
|
||||
#data = {"key": "oioioi und oi."}
|
||||
|
||||
async with httpx.AsyncClient(timeout=100.0) as client:
|
||||
async with httpx.AsyncClient(timeout=300.0) as client:
|
||||
response_from_second_server = await client.post(SECOND_SERVER_URL, data=json_data)
|
||||
|
||||
print('oi oi oi oi')
|
||||
|
|
Loading…
Reference in a new issue