התפילין עשויות משלושה מרכיבים עיקריים: פרשיות, 'בתים' ורצועות. הפרשיות מוכנסות אל תוך ה'בתים', ואליהן מחוברות רצועות שבאמצעותן אנו מקיימים את הציווי "וּקְשַׁרְתָּם" — לקשור את התפילין על היד ועל הראש. ה'בתים' הם מעין קופסאות חלולות, והם עשויים מעור של בהמה כשרה. הם מיוצרים על־פי הנחיות מדויקות. לאחר הכנסת הפרשיות לתוכם ה'בתים' נתפרים בחוט העשוי מגידי בהמה, ולתוכם מושחלות רצועות עור, שבאמצעותן כורכים את התפילין על הראש ועל הזרוע.

צורת ה'בתים' 'בתי' התפילין חייבים להיות מרובעים. מייצרים אותם מעור של בהמה טהורה וצובעים אותם בצבע שחור.

'בית' התפילין של ראש ו'בית' התפילין של יד דומים חיצונית, אך למעשה הם שונים זה מזה. בעוד ה'בית' שעל הראש מחולק לארבעה חללים, שבכל אחד ואחד מהם מונחת פרשה אחת, ב'בית' שעל היד יש חלל אחד בלבד, ולתוכו מוכנסת מגילת קלף אחת , שבה כתובות ארבע הפרשיות ברצף.

הפרשיות הפרשיות נכתבות בידי סופר סת"ם, בקולמוס ובדיו, על קלף. כתיבת הפרשיות כרוכה בהלכות רבות, והיא מחייבת מתן אמון ביושרו של הסופר ובמידת יראת השמים שלו. לעתים הסופר עושה טעות הפוסלת את הפרשיות, ורק הוא לבדו יודע זאת וצריך לקבל החלטה כואבת לגנוז את הפרשיות שעמל עליהן. לאחר הכתיבה הפרשיות עוברות הגהה מדוקדקת, כדי לוודא שכל אות כתובה כהלכה. בימינו מקובל גם לעשות הגהה על־ידי סריקת מחשב, המבטיחה שאין בפרשיות אותיות ומילים חסרות או יתרות.

הפרשה הראשונה היא "קַדֶּשׁ לי כל בכור" (שמות יג, א-י) ולקראת סופה נאמר: "וְהָיָה לְךָ לְאוֹת עַל יָדְךָ, וּלְזִכָּרוֹן בֵּין עֵינֶיךָ". הפרשה השנייה היא "והיה כי יביאך" (שמות יג, יא-טז) ובסופה כתוב: "וְהָיָה לְאוֹת עַל יָדְכָה, וּלְטוֹטָפֹת בֵּין עֵינֶיךָ". הפרשה השלישית היא "שמע ישראל" (דברים ו, ד-ט) ובחותמה נאמר: "וּקְשַׁרְתָּם לְאוֹת עַל יָדֶךָ וְהָיוּ לְטֹטָפֹת בֵּין עֵינֶיךָ". הפרשה הרביעית היא "והיה אם שמוע" (דברים יא, יג־כא), וקרוב לסיומה מורה התורה: "וּקְשַׁרְתֶּם אֹתָם לְאוֹת עַל יֶדְכֶם, וְהָיוּ לְטוֹטָפֹת בֵּין עֵינֵיכֶם".

רש"י ורבנו תם במרוצת הדורות התפתחו חילוקי דעות באשר לסדר הנכון של הפרשיות בתפילין. הדעות המובילות בסוגיה זו הן של רבי שלמה יצחקי, רש"י, ושל נכדו רבנו יעקב תם. ההלכה נפסקה כדעת רש"י, ואלו התפילין שעם ישראל לתפוצותיו מניח יום יום. עם זה, רבים מהדרים ומניחים לצד התפילין של רש"י עוד זוג תפילין, כשיטת רבנו תם. יחידי סגולה מניחים גם תפילין על־פי שיטות נוספות מקרב גדולי פוסקי ההלכה.

רצועות התפילין רצועות התפילין עשויות מעור של בהמה והן חייבות להיות שחורות. רוחבן המינימלי של רצועות התפילין הוא תשעה מ"מ. האורך המינימלי הדרוש ברצועת התפילין של הראש הוא שהרצועה תקיף את ראשו של המניח ומשם ישתלשלו שני צדיה עד שיפולי הבטן. אורכה המינימלי של רצועת התפילין של יד היא כדי שיתאפשר לכרוך אותה על הזרוע, למתוח אותה עד לאצבע האמצעית של כף היד וללפף אותה שלוש פעמים על אצבע זו.

על־פי ההלכה, ברצועות התפילין של ראש ושל יד חייבים להיות קשרים מיוחדים שצורתם עוברת במסורת מדור לדור, והיא בצורת האות י'. אלא שבעניין הקשר בתפילין 'של ראש' יש מחלוקת בין פוסקי ההלכה, מהי הצורה שעליה נצטווינו. שתי הדעות הרווחות הן לעשות את הקשר בצורת האות ד' או לעשותו בצורת האות י'.

רצועות התפילין קדושות הן, וחובה לנהוג בהן כבוד ולהיזהר מביזוין על־ידי גרירתן על הרצפה וכיוצא בזה.

כדי לשמור על התפילין מפני פגיעה או התבזות, מקובל להניחן בקופסאות פלסטיק מיוחדות, ואותן מניחים בנרתיק קשיח או בשקיות בד וקטיפה וכיוצא באלה.