அழைப்புகளும் குரலும்

அழைப்புகளும் குரல் சேனல்களும் ஆடியோ, வீடியோ மற்றும் திரை பகிர்வை நேரடியாக சர்வரின் சொந்த போர்ட்டுக்கு அனுப்புகின்றன. இந்தப் பக்கம் நெட்வொர்க் பக்கத்தை, நிறுவிய பிறகு சரிபார்க்க வேண்டிய அமைப்புகளை, மற்றும் நீங்கள் இயக்கும் speech-to-text மாதிரியுடன் transcriptions-ஐ உள்ளடக்கியது.

அழைப்புகள் எப்படி செயல்படுகின்றன

அழைப்புகள் Calls செயலி (id com.mattermost.calls) மூலம் வழங்கப்படுகின்றன, இது இயல்பாக நிறுவப்பட்டு இயக்கப்படுகிறது. குரல் சேனல்கள் (Voice Channels செயலி, antimatter-next image) Calls-இல் அடிப்படையாகக் கட்டப்பட்ட நிரந்தர அழைப்பு அறைகள்: அவை Calls இயக்கப்பட்டுள்ளதைத் தேடிக்கொள்ளும், மேலும் அதே அமைப்புகளை, போர்டுகளை மற்றும் சர்வர்களைப் பயன்படுத்துகின்றன.

Calls செயலி Antimatter-இன் உள்ளே ஒரு மீடியா சர்வரை இயக்குகிறது. Web app, desktop app மற்றும் mobile apps WebRTC மூலம் அதனுடன் இணைகின்றன:

• signalling சாதாரண web இணைப்பின் வழியாக (உங்கள் HTTPS proxy) செல்கிறது;
• மீடியா (ஆடியோ, வீடியோ, திரை பகிர்வு) அதுவாசல் செல்லாது: அது அழைப்புகள் போர்ட்டில், இயல்பாக 8443 UDP மற்றும் TCP மூலம் சர்வருக்கு நேரடியாகச் செல்கிறது.

அமைப்புகள் அமைப்பு கன்சோல் › பிளக்-இன்கள் › அழைப்புகள் இல் உள்ளன. ஒவ்வொன்றும் antimatter சேவையில் AM_CALLS_ சூழல் மாறி மூலமாகவும் அமைக்கப்படலாம்; அப்போது அது அமைப்பு கன்சோல்க்கு முன்னுரிமை பெற்று அங்கு அமைப்பை பூட்டிவிடும். பழைய MM_CALLS_ பெயர்களும் வேலை செய்கின்றன.

நிறுவிய பிறகு இவற்றைச் சரிபார்க்கவும்

1. அழைப்புகள் போர்டைத் திறக்கவும். சர்வரின் மற்றும் உங்கள் cloud provider-இன் firewall-இல் 8443/udp மற்றும் 8443/tcp-ஐ அனுமதிக்கவும்.
2. பரிசோதனை முறையை சரிபார்க்கவும். பரிசோதனை முறை (DefaultEnabled) இயல்பாக அணைக்கப்பட்டிருக்கும், எனவே அனைவரும் அழைப்புகளை தொடங்க முடியும். அழைப்புகள் வேலை செய்வதை சரிபார்க்கும்போது, சேனல்களில் அழைப்புகளை தொடங்க அமைப்பு நிர்வாகிகள் மட்டுமே அனுமதிக்க அமைப்பு கன்சோல் › பிளக்-இன்கள் › அழைப்புகள் இல் இதை இயக்கு என அமைத்து, பின்னர் மீண்டும் அணைக்கவும். மாறி AM_CALLS_DEFAULT_ENABLED: true என்பது பரிசோதனை முறை அணைக்கப்பட்டிருக்கிறது என்பதைக் குறிக்கிறது. Mattermost இலிருந்து நகர்த்தப்பட்ட சேவையகம், அதன் அமைப்பில் சேமிக்கப்பட்ட தேர்வை வைத்திருக்கும்.
3. காட்சி பற்றி முடிவு செய்யவும். காட்சியை இயக்கு (EnableVideo, AM_CALLS_ENABLE_VIDEO) இயல்பாக இயக்கப்பட்டிருக்கும்: அழைப்புகள் இயக்கப்பட்டிருக்கும் எல்லா இடங்களிலும் — நேரடி மற்றும் குழு செய்திகளிலும் சேனல்களிலும் — மக்கள் தங்கள் கேமராவை இயக்க முடியும். குரல் சேனல்களில், குரல் சேனல்கள் செயலின் குரல் சேனல்களில் காட்சியை அனுமதி என்பது முடிவு செய்கிறது. இதை அணைத்தால், குரல் சேனல்களில் கூட யாரும் கேமராவை இயக்க முடியாது.
4. NAT-இன் பின்னால், பொதுவான முகவரியை அமைக்கவும் (அடுத்த பகுதி).

அழைப்புகள் இயக்கப்பட்டிருக்கும் இடங்கள்

ஒவ்வொரு சமூகத்திற்கும் ஒரு வகை உள்ளது, பணிப்பரப்பு அல்லது சமூகம் (புதிய சமூகங்களின் வகை பற்றி பார்க்கவும்). ஒரு சேனலின் நிர்வாகிகள் அழைப்புகளை இயக்கவோ அணைக்கவோ செய்யாதபோது, அது தனது சமூகத்தின் வகையை பின்பற்றும்:

• பணிப்பரப்பு இல், சேனல்கள் சேவையகத்தின் இயல்புநிலையை பின்பற்றும்: பரிசோதனை முறை அணைக்கப்பட்டிருக்கும்போது அனைவருக்கும் அழைப்புகள் இயக்கப்பட்டிருக்கும்;
• சமூகம் இல், சேனல்களில் அழைப்புகள் அணைக்கப்பட்டிருக்கும்: மக்கள் அதற்கு பதிலாக குரல் சேனல்களில் பேசுகிறார்கள். சேனல் மற்றும் சமூக நிர்வாகிகள் ஒரு சேனலில் அழைப்புகளை இயக்க முடியும்.

ஒரு சேனலின் சொந்த அமைப்பு எப்போதும் முன்னுரிமை பெறும். நேரடி மற்றும் குழு செய்திகள் ஒரு சமூகத்தின் பகுதியாக இல்லை: அங்கு பரிசோதனை முறை அணைக்கப்பட்டிருக்கும்போது அனைவருக்கும் அழைப்புகள் இயக்கப்பட்டிருக்கும். ஒரு சமூகத்தின் வகையில் மாற்றம் 30 வினாடிகளுக்குள் அழைப்புகளுக்குப் பொருந்தும்.

போர்டுகள், NAT மற்றும் STUN

போர்ட்கள் 80 முதல் 49151 வரை இருக்க வேண்டும். தளத்தின் compose கோப்புடன், .env இல் CALLS_PORT ஐ மாற்றுங்கள்: இது இரண்டு மாறிகளையும் அமைத்து, ஹோஸ்ட்டிலும் கண்டேனரிலும் ஒரே எண்ணை வெளியிடுகிறது. கிளயண்டுகள் முதலில் UDP ஐ முயற்சித்து, அதே போர்ட்டில் TCP க்கு மாறுகின்றன.

கிளயண்டுகள் ஊடகத்தை அனுப்பும் முகவரி

சர்வர் ஒவ்வொரு கிளயண்டிற்கும் ஊடகத்தை அனுப்ப வேண்டிய முகவரியை (அதன் "ஹோஸ்ட் கண்டிடேட்") தெரிவிக்கிறது. இயல்பாக, கோரிக்கை எந்த முகவரியிலிருந்து வந்தது என்பதை பதிலளிக்கும் ஒரு பொது சேவையான STUN சர்வரிடம் கேட்டு, அதன் பொது முகவரியை கண்டறிகிறது. இயல்புநிலை Cloudflare இன் பொது STUN சர்வர், stun:stun.cloudflare.com:3478. சர்வர் மட்டுமல்ல, அழைப்பில் சேரும் ஒவ்வொரு கிளயண்டும் தனது பொது முகவரியை அறிய அதே STUN சர்வரிடம் கேட்கிறது. STUN சர்வர் IP முகவரிகள் மற்றும் போர்ட்களை மட்டுமே காணும்; அழைப்பு ஒலி, வீடியோ அல்லது செய்திகளை ஒருபோதும் காணாது.

Mattermost இன் STUN சர்வரை (stun.global.calls.mattermost.com) ICE சர்வர்கள் அமைப்புகள் இல் சேமித்து வைத்திருக்கும் சர்வர், Mattermost இலிருந்து மாறுவது போன்ற நிலைகளில், அதற்கு பதிலாக Cloudflare இன் STUN ஐ பயன்படுத்தும். சேமிக்கப்பட்ட அமைப்பு மாற்றப்படாது.

முகவரியை உங்களே அமைக்க வேண்டிய நிலைகள்:

• சர்வர் NAT இன் பின்னே உள்ளது, அல்லது பல பொது முகவரிகள் உள்ளன: பொது IP முகவரியை (அல்லது அதை குறிக்கும் ஹோஸ்ட்நேம்) ICE ஹோஸ்ட் ஓவர்ரைடு க்கு அமைக்கவும்;
• NAT 8443 க்கு மாறுபட்ட ஒரு பொது போர்ட்டை வழங்குகிறது: அந்த பொது போர்ட்டை ICE ஹோஸ்ட் போர்ட் ஓவர்ரைடு க்கும் அமைக்கவும்;
• சர்வருக்கு இணைய அணுகல் இல்லை, அல்லது சர்வரும் கிளயண்டுகளும் வெளி STUN சர்வரிடம் தொடர்பு கொள்ள விரும்பவில்லை: ICE ஹோஸ்ட் ஓவர்ரைடு ஐ அமைத்து, STUN பட்டியலை AM_CALLS_ICE_SERVERS_CONFIGS=[] மூலம் வெறுமையாக்கவும். ICE ஹோஸ்ட் ஓவர்ரைடு அமைக்கப்பட்டால், சர்வர் தனது முகவரியை STUN சர்வரிடம் கேட்காது; வெற்று பட்டியல் கிளயண்டுகள் கேட்காமல் இருக்க செய்கிறது.

services:
  antimatter:
    environment:
      AM_CALLS_ICE_HOST_OVERRIDE: 203.0.113.10
      AM_CALLS_ICE_SERVERS_CONFIGS: "[]"

மூன்றாம் தரப்பினரை இல்லாமல் STUN ஐ வைத்திருக்க, உங்கள் சொந்த STUN சர்வரை இயக்குங்கள் (coturn போன்ற TURN சர்வர்களும் STUN கோரிக்கைகளுக்கு பதிலளிக்கின்றன) மற்றும் ICE சர்வர்கள் அமைப்புகள் இல் அதை பட்டியலிடுங்கள், கீழே உள்ள TURN எடுத்துக்காட்டு போல.

உள்ளூர் நெட்வொர்க்கில் மட்டுமே, சர்வரின் LAN முகவரியை பயன்படுத்தவும். போர்ட்கள், முகவரிகள் அல்லது ICE அமைப்புகளை மாற்றிய பின் சர்வரை மறுதொடக்கம் செய்யவும், அல்லது Calls செயலியை முடக்கி மீண்டும் இயக்கவும்: ஊடக சர்வர் செயலி தொடங்கும்போது அமைக்கப்படுகிறது.

TURN, கடுமையான ஃபயர்வால்களுக்கு

சில நெட்வொர்க்குகள் UDP மற்றும் சாதாரணமல்லாத TCP போர்ட்களுக்கு வெளியே செல்லும் இணைப்புகளை இரண்டையும் தடுக்கின்றன. அவற்றில் உள்ள பயனர்களுக்கு TURN சர்வர் தேவை; அது அவர்கள் அடையக்கூடிய போர்ட் வழியாக (பொதுவாக 443) ஊடகத்தை (media) பரிமாற்றம் செய்கிறது. Antimatter-ல் TURN சர்வர் இல்லை; coturn போன்ற TURN சர்வரை இயக்கி, ICE Servers Configurations என்ற JSON பட்டியலில் சேர்க்கவும்:

[
  {"urls": ["stun:turn.example.com:3478"]},
  {"urls": ["turn:turn.example.com:3478?transport=udp", "turns:turn.example.com:443?transport=tcp"]}
]

• பகிர்வு ரகசியத்துடன் (coturn-இன் use-auth-secret), அதே ரகசியத்தை TURN Static Auth Secret (AM_CALLS_TURN_STATIC_AUTH_SECRET) இல் வைக்கவும்: சர்வர் ஒவ்வொரு கிளையண்டிற்கும் குறுகிய காலத்திற்கு மட்டும் செல்லும் அங்கீகார விவரங்களை வழங்குகிறது; அவை TURN Credentials Expiration (minutes) (இயல்பாக 240 நிமிடங்கள்) வரை செல்லும்.
• நிலையான அங்கீகார விவரங்களைப் பயன்படுத்தினால், TURN பதிவில் "username" மற்றும் "credential" ஐ சேர்க்கவும்.
• Server Side TURN (இயல்பாக அணைக்கப்பட்டது) சர்வர் தொடங்கும் இணைப்புகளுக்கும் TURN சர்வர்களைப் பயன்படுத்துகிறது.

மற்ற அழைப்பு அமைப்புகள்

குரல் சேனல்கள் செயலுக்கு இரண்டு அமைப்புகள் உள்ளன, அமைப்பு கன்சோல் › பிளக்-இன்கள் › குரல் சேனல்கள் இல்: குரல் சேனலை திறக்கும்போது சேர் (இயல்பாக இயக்கப்பட்டிருக்கும்) மற்றும் குரல் சேனல்களில் காட்சியை அனுமதி (இயல்பாக இயக்கப்பட்டிருக்கும், ஆனால் மேலே காட்சி பற்றி பார்க்கவும்). சமூக நிர்வாகிகள் ஒரு சேனலை அதன் அமைப்புகளில் குரல் சேனலாக மாற்றுகிறார்கள்.

பெரிய சர்வர்கள்: வெளிப்புற rtcd

இயல்பாக, ஒரு Antimatter சேவையாளர் அனைத்து அழைப்பு ஊடகங்களையும் (call media) தாங்குகிறது. பல ஒரே நேர அழைப்புகளுக்கு, அல்லது ஊடகங்களை அரட்டை சேவையாளருக்கு (chat server) வெளியே வைக்க, அழைப்புகள் (Calls) செயலி ஊடகங்களை rtcd என்ற தனி ஊடக சேவையாளருக்கு (Mattermost இன் திறந்த மூல rtcd, 0.17 அல்லது அதற்குப் பின்னான பதிப்பு) ஒப்படைக்கிறது. RTCD சேவை URL (AM_CALLS_RTCD_SERVICE_URL) ஐ அமைக்கவும், எடுத்துக்காட்டாக https://rtcd.example.com: அப்போது அனைத்து அழைப்புகளும் அதன் வழியாகச் செல்கின்றன, மற்றும் கிளையண்டுகள் (clients) தங்கள் ஊடகங்களை Antimatter இன் தனி துறையுக்கு (port) மாறாக rtcd இன் தனி துறையுக்கு அனுப்புகின்றன. AM_CALLS_RTCD_CLIENT_ID மற்றும் AM_CALLS_RTCD_AUTH_KEY மூலம் அங்கீகார விவரங்கள் (credentials) வழங்கப்படலாம்; அவை இல்லாவிட்டால், செயலி தானாகவே rtcd இல் பதிவு செய்யப்படுகிறது. உரிமம் (licence) தேவையில்லை. Antimatter இல் ஒரே நேரத்தில் 50-க்கு மேற்பட்ட மக்கள் அழைப்புகளில் இருக்கும்போது, rtcd ஐப் பரிந்துரைக்கும் எச்சரிக்கையை அழைப்புகள் செயலி நிர்வாகிகளுக்குக் காட்டுகிறது.

எழுத்துப்படுத்தல் (Transcription) மற்றும் நேரடி வசனங்கள் (live captions)

Antimatter, நீங்கள் தானாக இயக்கும் குரல்-இருந்து-எழுத்து (speech-to-text) மாதிரியைப் பயன்படுத்தி அழைப்புகளை எழுத்துப்படுத்தலாம், மற்றும் மக்கள் பேசும்போது நேரடி வசனங்களைக் காட்டலாம். Antimatter, OpenAI-உடன் இணைக்கக்கூடிய (OpenAI-compatible) /v1/audio/transcriptions முடிவுப்புள்ளியை (endpoint) வழங்கும் எந்த சேவையாளரையும் பயன்படுத்துகிறது, உங்கள் நெட்வொர்க்கில் ஒரு Whisper சேவையாளர் போன்றது. Antimatter இலிருந்து கூடுதல் சேவை தேவையில்லை.

இது எப்படி வேலை செய்கிறது

• அழைப்பின் ஹோஸ்ட் அழைப்பு கட்டுப்பாடுகளில் உள்ள அழைப்பை எழுத்துப்பதிவு செய் மூலம் எழுத்துப்படுத்தலைத் தொடங்குகிறார். எழுத்துப்பதிவு செய்கிறது என்ற பெட்டை அனைவருக்கும் தெரிவிக்கிறது.
• ஒவ்வொரு பங்கேற்பாளரின் செயலியும் தனது சொந்த மைக்ரோபோனைக் கேட்கிறது, குரலைக் குறுகிய பகுதிகளாக (12 வினாடிகளுக்குள், ஒலியடக்கப்பட்டிருக்கும்போது ஒருபோதும் இல்லை) வெட்டுகிறது, மற்றும் அவற்றை Antimatter இல் அனுப்புகிறது, அது அவற்றை உங்கள் குரல்-இருந்து-எழுத்து சேவையாளருக்கு முன்னேற்றுகிறது.
• நேரடி வசனங்கள் இயக்கப்பட்டிருந்தால், ஒவ்வொரு பகுதியின் எழுத்தும் பங்கேற்பாளர்களுக்கு உடனடியாக ஒரு வசனமாக (caption) காட்டப்படுகிறது.
• எழுத்துப்படுத்தல் நிறுத்தப்பட்டாலோ அல்லது அழைப்பு முடிந்தாலோ, அழைப்புகள் பாட் (Calls bot) அழைப்பின் த்ரெட்டில் (குரல் சேனல்களில், சேனலில்) எழுத்துப்படுத்தலை (transcript) ஒரு உரை கோப்பாகவும் (text file) WebVTT தலைப்புக் கோப்பாகவும் (subtitle file) இடுகிறது.
• எழுத்துப்படுத்தல்களை சுருக்கம் செய் (Summarize transcriptions) இயக்கப்பட்டிருந்தால், Agents செயலியின் (Agents app) இயல்பான ஏஜென்ட் (default agent) த்ரெட்டில் ஒரு சுருக்கத்தையும் (summary) இடுகிறது (பார்க்க AI).

அமைப்பது

இவற்றை antimatter சேவையில் அமைக்கவும்:

services:
  antimatter:
    environment:
      AM_CALLS_ENABLE_TRANSCRIPTIONS: "true"
      AM_CALLS_TRANSCRIBE_API: openai
      AM_CALLS_TRANSCRIBE_API_OPEN_AIURL: http://stt.internal:8000/v1
      AM_CALLS_TRANSCRIBE_API_OPEN_AI_MODEL: whisper-1
      AM_CALLS_TRANSCRIBE_API_OPEN_AI_KEY: ""
      AM_CALLS_ENABLE_LIVE_CAPTIONS: "true"
      AM_CALLS_LIVE_CAPTIONS_LANGUAGE: en

எழுத்துப்படுத்தல் இயக்கப்பட்டிருக்கும்போது, பேசும் ஒவ்வொருவரின் குரலும் நீங்கள் அமைத்த குரல்-இலகு-எழுத்து சேவையகத்திற்குச் செல்கிறது, மேலும் எழுத்துப்படுத்தல் (transcript) சேனலில் உள்ள அனைவரும் படிக்கக்கூடிய இடத்தில் பதிவிடப்படுகிறது. உங்கள் பயனர்களுக்கு இதனைத் தெரிவிக்கவும், அழைப்புகள் ரகசியமாக இருந்தால் அந்தச் சேவையகத்தை உங்கள் சொந்த வலையமைப்பில் வைத்திருங்கள்.

பதிவுகள்

அழைப்புகளைப் பதிவு செய்தல் (உள்ளமைக்கப்பட்ட whisper.cpp அல்லது Azure எழுத்துப்படுத்திகளால் எழுத்துப்படுத்தல் உட்பட) ஒரு வேலை சேவையால் தொடங்கப்படும் தனித்தனி கண்டெய்னர்களில் இயங்குகிறது. Mattermost-இன் திறந்த மூல calls-offloader என்பது அந்த வேலை சேவை ஆகும்; அதை நீங்கள் Antimatter-இன் அருகில் நேரடியாகப் பரவலாக்குவீர்கள். அமைப்புகள்: அழைப்பு பதிவுகளை இயக்கு (AM_CALLS_ENABLE_RECORDINGS, இயல்பாக அணைக்கப்பட்டது), வேலை சேவை URL (AM_CALLS_JOB_SERVICE_URL), அதிகபட்ச அழைப்பு பதிவு நேரம் (இயல்பாக 60 நிமிடங்கள், 15 முதல் 180 வரை) மற்றும் அழைப்பு பதிவு தரம் (குறைவு, நடுத்தர அல்லது அதிகம்; இயல்பாக நடுத்தரம்). உரிமம் தேவையில்லை. பதிவுகள் இயக்கப்பட்ட பிறகு, அழைப்பின் ஹோஸ்ட் அழைப்பு கட்டுப்பாடுகளில் உள்ள அழைப்பைப் பதிவு செய் மூலம் பதிவைத் தொடங்கி நிறுத்துகிறார்; அழைப்பில் உள்ள அனைவரும் அது பதிவு செய்யப்படுவதைக் காண்கிறார்கள், மேலும் பதிவு நிறுத்தப்படும்போது அது அழைப்பின் த்ரெட்டில் பதிவிடப்படுகிறது. குரல் சேனல்களில் உள்ள அழைப்புகளுக்கு த்ரெட் இல்லை, எனவே அவற்றைப் பதிவு செய்ய முடியாது. எழுத்துப்படுத்தல்கள் மற்றும் வசனங்களுக்கு மட்டும், மேலே உள்ள குரல்-இருந்து-எழுத்து அமைப்பு எளிமையானது: அதற்கு வேலை சேவை தேவையில்லை.